[論文レビュー] Learning to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation

Bugra Tekin, Pablo Márquez-Neila+2 more|arXiv (Cornell University)|Nov 17, 2016

Human Pose and Action Recognition参考文献 62被引用数 17

ひとこと要約

本論文は、学習可能な統合機構を用いて、2次元関節信頼性マップと生の画像特徴を同時に統合することで、3次元人体ポーズを推定する新しい深層学習フレームワークを提案する。2次元検出の信頼性と3次元画像の手がかりを、学習可能で鋭い統合戦略により統合することで、標準ベンチマークで最先端の性能を達成し、先行研究と比較して3次元ポーズ誤差を12%低減するとともに、10 fpsのリアルタイム推論を実現した。

ABSTRACT

Most recent approaches to monocular 3D human pose estimation rely on Deep Learning. They typically involve regressing from an image to either 3D joint coordinates directly or 2D joint locations from which 3D coordinates are inferred. Both approaches have their strengths and weaknesses and we therefore propose a novel architecture designed to deliver the best of both worlds by performing both simultaneously and fusing the information along the way. At the heart of our framework is a trainable fusion scheme that learns how to fuse the information optimally instead of being hand-designed. This yields significant improvements upon the state-of-the-art on standard 3D human pose estimation benchmarks.

研究の動機と目的

• 単眼3次元人体ポーズ推定における曖昧さを、2次元関節検出の長所と3次元画像推論の長所を組み合わせることで解消すること。
• 既存手法が3次元画像の手がかりを無視するか、2次元関節の不確実性を効果的にモデル化できないという限界を克服すること。
• 手動で設計された統合ルールを避けるために、2次元と3次元のストリーム間で最適な統合ポイントと戦略を自動で学習する学習可能な統合メカニズムを開発すること。
• 両ストリームからの補完的特徴を活用することで、制約のない実世界の屋外画像における汎用性とロバスト性を向上させること。
• 低遅延の推論を実現し、リアルタイムデプロイメントを可能にする高精度な性能を達成すること。

提案手法

• フレームワークは2つの並列ストリームを採用する：1つは2次元関節位置の信頼性マップを予測する（信頼性マップストリーム）、もう1つは入力画像から直接3次元画像の手がかりを抽出する（画像ストリーム）。
• 2つのストリームは、複数の層で動的に特徴を統合できるように、学習可能なシグモイドゲートを用いた学習可能な統合モジュールで統合される。
• スパarsity誘導項を用いて統合機構を正則化することで、鋭い統合を促進し、冗長なパラメータを削減し、テスト時の効率性を向上させる。
• 2次元ヒートマップ予測と3次元関節推定を同時に最適化するマルチタスク損失を用いて、エンドツーエンドでネットワークを訓練する。
• 訓練後、学習されたゲート値に基づいて不活性な統合層をプルーニングし、コンactで効率的な推論ネットワークを生成する。
• モデルは、Human3.6m、LSP、KTH といった標準ベンチマークで評価され、合成データで学習した場合でも、実世界の画像に良好に一般化している。

実験結果

リサーチクエスチョン

• RQ1 2次元関節信頼性マップと3次元画像特徴を統合する際、学習可能な統合機構は、手動で設計された統合戦略を上回ることができるか？
• RQ2 2次元と3次元の手がかりを同時に推定することで、単一モダリティのみを用いる手法と比較して、精度とロバスト性が向上するか？
• RQ3 学習可能なスパarsity誘導ゲートを用いることで、特定の層での鋭い統合が可能となり、適応的かつ効率的な統合プロセスを実現できるか？
• RQ4 合成データで学習した場合でも、実世界の制約のない屋外画像に、本手法は良好に一般化するか？
• RQ5 本手法の統合戦略は、3次元人体ポーズ推定を越えた他のマルチモーダル学習問題へも応用可能か？

主な発見

• 提案手法は、Human3.6mのEating行動クラスにおいて3次元ポーズ誤差60.17 mmを達成し、正則化なしのベースラインと比較して12.6%の改善を示した。
• 正則化項を導入したことで、推論時間が0.006秒/フレーム（167 fps）に短縮され、不活性な統合層のプルーニングによりモデルの効率性が向上した。
• 合成データで学習したにもかかわらず、LSPデータセットにおける高品質な3次元ポーズ予測から、実画像への良好な一般化が示された。
• 定性的な結果から、自己遮蔽や視点の曖昧さに起因する困難なケース（例：Human3.6mやKTH Multiview Football IIデータセット）に対しても、安定した性能を発揮することが確認された。
• 2つのストリームからの特徴は非相関的であることが確認され、補完的情報を効果的にエンコードしていることが裏付けられ、統合戦略の妥当性が裏付けられた。
• 標準GPU上では10 fps（0.096秒/フレーム）で実行可能であり、0.04～1 fpsの範囲にとどまる先行のモデルベース手法を上回った。