[論文レビュー] PoseLifter: Absolute 3D human pose lifting network from a single noisy 2D human pose

Ju Yong Chang, Gyeongsik Moon+1 more|arXiv (Cornell University)|Oct 26, 2019

Human Pose and Action Recognition被引用数 9

ひとこと要約

PoseLifter は、正規化された 2D 姿勢、2D 位置、2D スケールを入力として用い、根の絶対的深度と根相対 3D 姿勢を同時に推定することで、ノイズの多い 1 つの 2D 人体姿勢をカメラ座標系における絶対的 3D 姿勢に変換する、深層学習ネットワークである。トレーニング時に現実的な 2D 姿勢推定誤差を活用し、焦点距離のあいまいさを解消するための標準化深度正規化を用いることで、2D から 3D 姿勢への変換および 3D 人体姿勢推定において、最先端の性能を達成する。

ABSTRACT

This study presents a new network (i.e., PoseLifter) that can lift a 2D human pose to an absolute 3D pose in a camera coordinate system. The proposed network estimates the absolute 3D location of a target subject and generates an improved 3D relative pose estimation compared with existing pose-lifting methods. Using the PoseLifter with a 2D pose estimator in a cascade fashion can estimate a 3D human pose from a single RGB image. In this case, we empirically prove that using realistic 2D poses synthesized with the real error distribution of 2D body joints considerably improves the performance of our PoseLifter. The proposed method is applied to public datasets to achieve state-of-the-art 2D-to-3D pose lifting and 3D human pose estimation.

研究の動機と目的

• 既存の手法が相対的 3D 姿勢しか出力しないことによる、カメラ座標系における 2D 人体姿勢から絶対的 3D 姿勢への変換という、不適切に定義された問題に対処すること。
• 2D 姿勢推定器と新規の 3D 姿勢変換ネットワークを組み合わせることで、単一の RGB 画像からの 3D 人体姿勢推定を向上させること。
• 単一画像の 2D から 3D への変換において、未知の被写体サイズとカメラの焦点距離による絶対的深度推定のあいまいさを解消すること。
• 2D 姿勢推定器の実世界の誤差分布を反映した合成 2D 姿勢を用いてトレーニングすることで、性能を向上させること。
• オブジェクト検出と PoseLifter の段階的パイプラインを用いて、制約のない、実世界の環境でも頑健な 3D 姿勢推定を可能にすること。

提案手法

• PoseLifter は、正規化された 2D 姿勢、2D 関節位置、2D スケールの 3 つの入力を用いて、根関節の絶対的 3D 座標と根相対 3D 姿勢を同時に推定する。
• 焦点距離で正規化された標準化深度表現を用いることで、未知の焦点距離と被写体サイズによる絶対的深度推定のあいまいさを解消する。
• 2D 位置とスケールを活用することで、透視投影によるあいまいさを低減し、根相対 3D 姿勢の推定を向上させる。
• 実世界の 2D 姿勢推定器の誤差分布を反映したリアルなノイズを含む合成 2D 姿勢を用いてトレーニングすることで、実際の 2D 姿勢推定出力への一般化を向上させる。
• 事前学習済みの 2D 姿勢推定器（例：COCO や MPII からのもの）と PoseLifter を組み合わせた段階的パイプラインを用い、単一の RGB 画像からのエンドツーエンドの 3D 人体姿勢推定を実現する。
• ネットワークアーキテクチャは、1 回の順伝播で絶対的根の深度（標準化深度を介して）と相対的 3D 姿勢の両方を回帰するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、相対的 3D 姿勢ではなく、カメラ座標系における絶対的 3D 姿勢に 2D 人体姿勢を変換できるか？
• RQ2 単一の 2D イメージしか利用できない状況で、絶対的深度推定のあいまいさはどのように緩和できるか？
• RQ3 実世界の誤差分布を反映した合成 2D 姿勢を用いることで、3D 姿勢変換ネットワークの一般化性能と性能が向上するか？
• RQ4 標準化深度表現は、実世界のデータセットにおける異なる焦点距離によるあいまいさを効果的に解消できるか？
• RQ5 提案された PoseLifter は、制約のない環境における単一 RGB 画像からの 3D 人体姿勢推定で最先端の性能を達成できるか？

主な発見

• PoseLifter は Human3.6M データセットで 3D PCK スコア 81.6% を達成し、既存の最先端手法を上回った。
• MPI-INF-3DHP データセットでは、3D PCK スコア 83.9% および MRPE 217.4 mm を達成し、すべての既存手法を上回った。
• アブレーションスタディの結果、標準化深度表現を削除すると、MPI-INF-3DHP データセットでの MRPE が 296.9 mm に増加し、焦点距離のあいまいさ解消におけるその重要性が裏付けられた。
• 実際の誤差分布を反映した合成 2D 姿勢を用いたトレーニングにより性能が向上し、リアルなノイズを含む場合に MRPE が顕著に低下した。
• COCO データセットの制約のない画像に対しても、複雑なシーンやオクルージョン、さまざまな視点に対しても、良好に一般化され、3D 姿勢が正しく推定された。
• 定性的な結果から、スタジオ、屋外、制約のない環境を問わず、多様なポーズと環境において、正確で現実的な 3D 姿勢推定が可能であることが示された。