[論文レビュー] Compositional Human Pose Regression

Xiao Sun, Jiaxiang Shang+2 more|arXiv (Cornell University)|Apr 1, 2017

Human Pose and Action Recognition被引用数 55

ひとこと要約

本研究は、骨で姿勢を表現する構造認識型の回帰手法を提案し、骨格構造を活用する組成的損失を用いて3Dおよび2Dの姿勢推定を改善し、混合2D/3Dデータでの統合訓練を実現する。

ABSTRACT

Regression based methods are not performing as well as detection based methods for human pose estimation. A central problem is that the structural information in the pose is not well exploited in the previous regression methods. In this work, we propose a structure-aware regression approach. It adopts a reparameterized pose representation using bones instead of joints. It exploits the joint connection structure to define a compositional loss function that encodes the long range interactions in the pose. It is simple, effective, and general for both 2D and 3D pose estimation in a unified setting. Comprehensive evaluation validates the effectiveness of our approach. It significantly advances the state-of-the-art on Human3.6M and is competitive with state-of-the-art results on MPII.

研究の動機と目的

• 従来の検出法と併用して姿勢構造を活用する回帰ベースの姿勢推定を動機づける。
• 関節よりも安定し学習可能な特徴を生み出す骨ベースの姿勢表現を提案する。
• 骨格経路に沿った長距離の整合性を強制する組成的損失を導入する。
• 混合2D/3Dデータを含む2Dおよび3D姿勢回帰の統合訓練を実証する。
• 3D（Human3.6M）と2D（MPII）ベンチマークで評価し、最先端手法と比較する。

提案手法

• 姿勢を関節から骨へ再パラメータ化し、B_k = J_parent(k) - J_k と定義する。
• 骨ベースの回帰損失 L(B) を最小化する。L(B) = sum_k || tilde(B_k) - tilde(B_k_gt) ||_1 のように。
• 骨路に沿う相対関節位置 Delta J_u,v を課す組成的長距離損失 L(B, P) を導入し、経路上の骨の和として微分可能な組成層で計算する。
• 関節対集合 P（関節、骨、両方、全て）を複数検討し、骨格構造を活用する影響を評価する。
• 出力が size 2K または 3K の統合2D/3D回帰をサポートし、混合訓練データとxy成分およびz成分へ分解された共有損失を用いる。
• バックボーンとしてResNet-50を用い、ImageNetで事前学習、SGDで25エポック微調整、標準的なデータ拡張と2GPU訓練。

実験結果

リサーチクエスチョン

• RQ1 直接的な関節回帰と比較して、骨ベースの表現と組成的損失は姿勢構造をより良く捉えられるか？
• RQ2 長距離の骨格制約を活用することで、3Dおよび2Dの姿勢精度と幾何学的妥当性が向上するか？
• RQ3 統合された姿勢回帰のために訓練時に2Dと3Dデータを混ぜることは有益か？
• RQ4 提案手法は、最先端手法と比較して3DのHuman3.6Mおよび2DのMPIIベンチマークでどのように性能を示すか？
• RQ5 従来の関節局在精度を超える幾何学的妥当性を示す指標は何か？

主な発見

• 骨ベースの表現は、関節ベースのベースラインと比較して骨の長さをより安定させ、幾何学的制約の指標を改善する。
• 組成的損失（特にすべての関節対を使用した場合）は、Human3.6Mで関節誤差・骨誤差・骨の安定性・関節角の適法性を著しく改善する。
• 訓練にMPIIの2Dデータを追加することで、Joint Errorが大幅に低減する（例: Protocol 2で102.2から64.2へ）。
• Ours (all)は回帰手法の中で最先端の結果を達成し、MPIIでは検出ベース手法と競合する性能を示す。
• Human3.6Mでは、報告設定下でJoint Errorを92.4 mm、PA Joint Errorを67.5 mmに低減し、混合2D+3Dデータを用いるとさらに改善する。
• 本アプローチは野外MPII画像に対しても妥当な3D姿勢を生み出し、転移学習の可能性を示す。