[論文レビュー] A Rotation Invariant Latent Factor Model for Moveme Discovery from Static Poses

Matteo Ruggero Ronchi, Joon Sik Kim+1 more|arXiv (Cornell University)|Sep 23, 2016

Human Pose and Action Recognition参考文献 27被引用数 3

ひとこと要約

本論文では、任意の視点角度から撮影された2D静的画像から、回転不変な潜在要因モデルを提案し、視点の変化と真の動きの違いを分離するための幾何学的正則化付き行列分解を用いて3D基本ポーズ（moveme）を学習する。この手法は、回転不変で解釈可能かつ一般化可能なポーズ表現を達成し、未観測のポーズを再構築可能であり、アクション認識や動的推論といった応用分野において最先端の性能を発揮する。

ABSTRACT

We tackle the problem of learning a rotation invariant latent factor model when the training data is comprised of lower-dimensional projections of the original feature space. The main goal is the discovery of a set of 3-D bases poses that can characterize the manifold of primitive human motions, or movemes, from a training set of 2-D projected poses obtained from still images taken at various camera angles. The proposed technique for basis discovery is data-driven rather than hand-designed. The learned representation is rotation invariant, and can reconstruct any training instance from multiple viewing angles. We apply our method to modeling human poses in sports (via the Leeds Sports Dataset), and demonstrate the effectiveness of the learned bases in a range of applications such as activity classification, inference of dynamics from a single frame, and synthetic representation of movements.

研究の動機と目的

• 任意のカメラ角度から撮影された2D静的ポーズから、人間の動きの基本パターン（moveme）を発見すること。
• 視点の変化と真の3D動きのばらつきを分離する、データ駆動型の回転不変表現を開発すること。
• 共通の3Dベース空間を用いて、異なる視点角度からの未観測ポーズの再構築を可能にすること。
• アクティビティ認識、動的推論、合成動き生成といった下流応用を支援すること。
• 3Dの真値データや手動で選択されたカメラ角度を必要としない、解釈可能な過剰な辞書としての3Dポーズを提供すること。

提案手法

• 修正された潜在要因モデルが2D関節座標に対して行列分解を実行し、3Dベース行列Uと係数行列Vに分解する。
• 視点に起因する変換をモデル化することで、回転不変性を確保するための幾何学的演算を最適化に明示的に統合する。
• 任意の回転に対する期待される2D投影からの逸脱をペナルティ化する正則化された目的関数を用い、一貫した3Dベースの発見を保証する。
• Uを少数の代表的ポーズで初期化し、交互に最小二乗法を用いてUとVを同時に最適化する。
• t-SNEを用いて高次元ポーズ多様体を可視化し、Vの係数を2次元空間にマップして解釈可能性を向上させる。
• Vの係数から得られるベースポーズ活性化のヒートマップを生成し、学習されたmovemeがポーズ多様体全体にわたってどのように空間的に分布しているかを示す。

実験結果

リサーチクエスチョン

• RQ1 3Dの教師信号なしに、2D静的画像から回転不変な3Dベースポーズをデータ駆動型モデルが学習できるか？
• RQ2 学習されたベース表現は、未観測の視点角度からのポーズをどの程度正確に再構築できるか？
• RQ3 非回転不変なベースラインと比較して、この表現はアクティビティ認識および動的推論の性能をどの程度向上させるか？
• RQ4 学習されたmovemeは、『テニスのフォワードサーブ』や『サッカーのキック』といった、人間が直感的に意味として認識する動きパターンとどの程度一致するか？
• RQ5 このモデルは合成動き生成および人間の動き多様体の可視化に一般化可能か？

主な発見

• 提案手法は、回転に依存しないベースラインと比較して、アクティビティ認識において顕著に優れた性能を示し、視点不変性の重要性を裏付けた。
• モデルは、訓練データに含まれないポーズに対しても、多様な視点角度で高精度に訓練ポーズを再構築でき、一般化能力を確認した。
• t-SNEの可視化では、『テニスのフォワードサーブ』と『バレーのブロック』のような類似した動きタイプのポーズがクラスタを形成している一方で、『走り』は空間的に分離されており、意味的な多様体構造が得られた。
• ベースポーズ活性化のヒートマップから、『バレーのストライク』が上半身の動き領域で最も活性化されており、『サッカーのキック』が下半身の領域で強く反応していることが確認され、直感的な動きの意味と整合的であった。
• この表現は視点の変化に対して頑健である：t-SNE空間内で近接するポーズであっても、カメラの角度が著しく異なる場合があることから、回転不変性が裏付けられた。
• 学習されたベースを線形結合することで合成動き生成が可能となり、動き多様体全体にわたる妥当な中間ポーズが生成された。