[論文レビュー] 3D Human Pose Estimation with 2D Marginal Heatmaps

Aiden Nibali, Zhen He+2 more|arXiv (Cornell University)|Jun 5, 2018

Human Pose and Action Recognition参考文献 30被引用数 8

ひとこと要約

この論文では、体積ヒートマップよりもメモリ効率が良く、微分可能である2次元の周辺ヒートマップ（xy、xz、zy平面）を予測することで、3次元人体ポーズ推定を向上させるMargiPoseを提案する。ソフト・アーグマックスとガウス正則化損失を組み合わせることで、MPI-INF-3DHPおよびHuman3.6Mデータセットで最先端の精度を達成し、それぞれ40.4 mmのPA-MPJPEと85.4%のPCKを達成した。

ABSTRACT

Automatically determining three-dimensional human pose from monocular RGB image data is a challenging problem. The two-dimensional nature of the input results in intrinsic ambiguities which make inferring depth particularly difficult. Recently, researchers have demonstrated that the flexible statistical modelling capabilities of deep neural networks are sufficient to make such inferences with reasonable accuracy. However, many of these models use coordinate output techniques which are memory-intensive, not differentiable, and/or do not spatially generalise well. We propose improvements to 3D coordinate prediction which avoid the aforementioned undesirable traits by predicting 2D marginal heatmaps under an augmented soft-argmax scheme. Our resulting model, MargiPose, produces visually coherent heatmaps whilst maintaining differentiability. We are also able to achieve state-of-the-art accuracy on publicly available 3D human pose estimation data.

研究の動機と目的

• 体積ヒートマップベースの3次元ポーズ推定におけるメモリと微分可能性の制限を解消する。
• 3次元ポーズ推定におけるヒートマップ表現の空間的一般化性と解釈可能性を向上させる。
• メモリ効率が良く、微分可能なアーキテクチャを用いて、モノクロナルRGB画像から正確な3次元関節座標を予測可能にする。
• 手動で設計された制約を明示的に用いずに、深層学習を活用して、妥当な3次元ポーズに関する人間の事前知識を暗黙的にエンコードする。
• 計算効率を維持したまま、標準的な3次元人体ポーズベンチマークで最先端の性能を達成する。

提案手法

• 体積ヒートマップの代わりに、各関節ごとにxy、xz、zy平面の3つの2次元周辺ヒートマップを予測することで、メモリ使用量を削減する。
• ヒートマップから3次元関節座標を回帰するため、微分可能で微分性を保つ関数を用いたソフト・アーグマックスを採用する。
• ピクセル単位のL2損失を導入し、ヒートマップが理想的な2次元ガウス分布に近づくように正則化することで、視覚的整合性と予測精度を向上させる。
• 特徴変換中に軸の入れ替えを適用することで、入力と出力の座標空間を一致させ、空間表現学習を向上させる。
• 予測された周辺ヒートマップと真値の間の平均二乗誤差損失を用いてモデルを訓練し、エンド・ツー・エンドの微分可能性をソフト・アーグマックスで確保する。
• マルチクロップ推論とプロクラステスアライメントを用いて、ベンチマークデータセットにおける一般化性能と評価の一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次元周辺ヒートマップは、3次元人体ポーズ推定における体積ヒートマップの効果的でメモリ効率の良い代替手段として機能するか？
• RQ2 ソフト・アーグマックス損失にガウス正則化項を追加することで、ヒートマップ品質と3次元関節座標の予測精度が向上するか？
• RQ3 提案されたMargiPoseアーキテクチャは、標準的な3次元ポーズ推定ベンチマークにおいて、既存の最先端モデルと比較して精度と効率の面で優れているか？
• RQ4 ラボで収集された3次元データでのみ学習されたモデルが、多様なポーズや遮蔽を伴う実世界の非制約的画像にどの程度一般化できるか？
• RQ5 マルチステージの監視、軸の入れ替え、正則化といったアーキテクチャ的要素が、全体の性能に果たす寄与度はどの程度か？

主な発見

• 補正済みラベルを用いたMPI-INF-3DHPデータセットにおいて、MargiPoseは40.4 mmのPA-MPJPEと85.4%のPCKを達成し、先行手法を大きく上回る最先端の性能を示した。
• 同じテストセットにおいて、マルチクロップ推論を用いることで、PCKが88.3%、MPJPEが85.2 mmに向上し、困難な実世界の画像に対しても強い一般化性能を示した。
• ソフト・アーグマックス損失にガウス正則化を追加することで、PCKが1.8ポイント向上し、MPJPEが6 mm低減した。これは、ヒートマップ品質の向上に有効であることを確認した。
• ヒートマップ予測ステージを1段階から4段階に増加させることで性能が向上した。これは、より深い監視が精度向上に寄与することを示している。
• 軸の入れ替えモジュールはわずかな向上しかもたらさなかった。これは、ネットワークの受容fieldが、すでに視点間の空間的依存関係を十分に捉えられることを示唆している。
• ラボで収集された3次元データでのみ学習されたにもかかわらず、MargiPoseはMPIIデータセットの非制約的画像に対しても、視覚的に整合性があり妥当な3次元ポーズ予測を生成し、良好な一般化性能を示した。