[論文レビュー] 3D Human Pose Estimation = 2D Pose Estimation + Matching

Ching-Hang Chen, Deva Ramanan|arXiv (Cornell University)|Dec 20, 2016

Human Pose and Action Recognition参考文献 33被引用数 13

ひとこと要約

本論文は、単一のRGB画像から3次元人体ポーズ推定を行うシンプルだが非常に効果的な2段階手法を提案する。まず深層畳み込みニューラルネットワークを用いて2次元ポーズを推定し、次に大規模な3次元モーショングラフデータベースとの非パrametricマッチングにより2次元ポーズを3次元に変換する。このアプローチは、Human3.6Mなどのベンチマークデータセットでほぼすべての先行SOTA手法を上回り、200ms未満の推論時間でSOTA性能を達成している。また、市販の2次元ポーズモデルと3次元モーショングラフデータを活用している。

ABSTRACT

We explore 3D human pose estimation from a single RGB image. While many approaches try to directly predict 3D pose from image measurements, we explore a simple architecture that reasons through intermediate 2D pose predictions. Our approach is based on two key observations (1) Deep neural nets have revolutionized 2D pose estimation, producing accurate 2D predictions even for poses with self occlusions. (2) Big-data sets of 3D mocap data are now readily available, making it tempting to lift predicted 2D poses to 3D through simple memorization (e.g., nearest neighbors). The resulting architecture is trivial to implement with off-the-shelf 2D pose estimation systems and 3D mocap libraries. Importantly, we demonstrate that such methods outperform almost all state-of-the-art 3D pose estimation systems, most of which directly try to regress 3D pose from 2D measurements.

研究の動機と目的

• 単一のRGB画像から3次元人体ポーズ推定を、シンプルでモジュラーなパイプラインで行う挑戦に応えること。
• 遮蔽下でも正確な2次元ポーズ推定が、3次元への変換のための強力な中間表現として機能するかどうかを調査すること。
• 大規模な3次元モーショングラフデータを用いた非パrametricな3次元例示マッチングが、奥行き推定にどの程度有効であるかを評価すること。
• 多様な2次元データセットと3次元モーショングラフライブラリを組み合わせることで、制約のない「野生の」画像への一般化を実証すること。
• 将来的な3次元ポーズ推定研究の強力でシンプルなベースラインを確立し、複雑なエンドツーエンドモデルを上回ること。

提案手法

• まず、事前学習済みの2次元ポーズ推定器（例：畳み込みニューラルネットワークベースのヒートマップモデル）を用いて、単一のRGB画像から2次元関節座標を予測する。
• 次に、予測された2次元ポーズを複数の仮想カメラビューに投影することで、学習用の多数の合成された（2次元、3次元）ポーズペアを生成する。
• 非パrametricマッチング手順により、2次元投影されたキーポイント座標間のL2距離に基づいて、ライブラリ内から最も近い3次元ポーズを特定する。
• マッチング精度を向上させるために、一致した3次元ポーズの2次元投影を予測された2次元キーポイントと一致させる閉形式のワープ処理を適用する。
• 最終的な3次元ポーズは、ワープ処理後の2次元投影が予測された2次元関節と最もよく一致するライブラリ内の3次元ポーズを選択することで得られる。
• パイプライン全体は、Human3.6Mなどのデータセットの標準的な分割を用いて訓練・評価され、MPJPE（平均関節位置誤差）を性能指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 2次元ポーズをまず推定し、その後3次元に変換する2段階パイプラインが、エンドツーエンドの3次元回帰手法を上回るか？
• RQ2 遮蔽下における2次元ポーズ推定の精度が、最終的な3次元ポーズ性能にどの程度影響を及えるか？
• RQ3 3次元例示ライブラリのサイズが、マッチングベースの3次元ポーズ変換の精度に与える影響は？
• RQ4 ラボベースのモーショングラフデータで学習した3次元ポーズライブラリが、制約のない「野生の」画像に一般化可能か？
• RQ5 ワープ処理が、異なるデータセット間で一般化性とマッチング精度を顕著に向上させるか？

主な発見

• 提案手法は、Human3.6Mデータセットでほぼすべての先行SOTAシステムを上回り、ワープ処理ありではプロトコル1で平均MPJPEが57.5 mm、なしでは70.93 mmを達成した。
• HumanEva-Iデータセットに対しても良好な一般化性能を示し、Human3.6Mで学習したモデルを用いた場合、平均MPJPEはワープなしで92.17 mmからワープありで68.29 mmに低下した。
• 3次元ポーズライブラリが大きくなるほど性能が向上し、CNNで予測された2次元ポーズを用いる場合、約200,000例の例示でMPJPEが飽和し、真値の2次元ポーズを用いる場合は500,000例で飽和した。
• 中央値MPJPEは常に平均より低く、少数の外れ値関節が平均誤差に大きく寄与していることが示され、ワープ処理がこれらの大きな誤差を低減することが分かった。
• パイプライン全体は200ms未満で実行可能（2次元推定160ms、200,000例のライブラリでマッチング26ms）、高い効率性を示した。
• 結果から、2次元ポーズ推定はすでに非常に正確に発展しており、遮蔽下でも同様に高い精度を示している。したがって、3次元への変換の主な課題は今や奥行き推定であり、これはデータ駆動型マッチングによって効果的に解決可能であると示唆された。