[論文レビュー] Not All Parts Are Created Equal: 3D Pose Estimation by Modelling Bi-directional Dependencies of Body Parts

Jue Wang, Shaoli Huang+2 more|arXiv (Cornell University)|May 20, 2019

Human Pose and Action Recognition参考文献 43被引用数 14

ひとこと要約

本稿では、関節の自由度（DOF）に基づいて身体部位間の双方向的依存関係をモデル化する、新しい3次元人体ポーズ推定手法を提案する。高DOF関節（例：肘）を低DOF関節（例：体幹）に依存させつつ、逆にそれらが後者を制約するように扱う。ポーズ属性予測ヘッドを導入し、体幹に対する相対的関節位置（前/後ろ/同一平面上）を推定することで、肢節推定の精度を著しく向上させ、Human3.6MおよびMPI-INF-3DHPベンチマークで最先端の性能を達成した。

ABSTRACT

Not all the human body parts have the same~degree of freedom~(DOF) due to the physiological structure. For example, the limbs may move more flexibly and freely than the torso does. Most of the existing 3D pose estimation methods, despite the very promising results achieved, treat the body joints equally and consequently often lead to larger reconstruction errors on the limbs. In this paper, we propose a progressive approach that explicitly accounts for the distinct DOFs among the body parts. We model parts with higher DOFs like the elbows, as dependent components of the corresponding parts with lower DOFs like the torso, of which the 3D locations can be more reliably estimated. Meanwhile, the high-DOF parts may, in turn, impose a constraint on where the low-DOF ones lie. As a result, parts with different DOFs supervise one another, yielding physically constrained and plausible pose-estimation results. To further facilitate the prediction of the high-DOF parts, we introduce a pose-attribute estimation, where the relative location of a limb joint with respect to the torso, which has the least DOF of a human body, is explicitly estimated and further fed to the joint-estimation module. The proposed approach achieves very promising results, outperforming the state of the art on several benchmarks.

研究の動機と目的

• 既存の3次元ポーズ推定手法が、自由度（DOF）に差があるにもかかわらずすべての関節を同等に扱うという限界を是正すること。
• 体幹のような安定した低DOF部位に依存する高自由度肢節の再構成誤差を低減するため、明示的にその依存関係をモデル化すること。
• 体幹に対する相対的位置を符号化する信頼性の高い多クラスポーズ属性を導入し、3次元ポーズ推定の精度を向上させること。
• 3次元アノテーションやポーズ属性の教師信号がなくても、自己教師的ドメイン適応を用いて屋外画像への頑健な一般化を可能にすること。

提案手法

• 身体部位を3つのDOFレベルに分類：体幹（最低DOF）、近位肢節（例：肩、肘、膝）、遠位肢節（例：手首、足首）。
• 高DOF関節を低DOF部位に依存させる段階的かつ双方向的なモデル化を実施。両方向が互いに監視することで、物理的妥当性を向上させる。
• 2次元関節位置と各肢節関節の3クラスポーズ属性（前/後ろ/同一平面上）を同時に予測するマルチタスクネットワークを導入し、強力な空間的事前知識を提供する。
• 予測されたポーズ属性を3次元ポーズ推定ネットワークの入力として用い、誤差伝搬を低減するため回帰ベースの深度推定を置き換える。
• 2段階フレームワークを採用：まず2次元ポーズとポーズ属性を推定し、次に依存関係モデリングを用いて3次元ポーズを精緻化する。
• 3次元アノテーションやポーズ属性ラベルが不要な状況でも、自己教師的ドメイン適応を適用し、屋外画像への適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 異なるDOFを持つ身体部位間の双方向的依存関係をモデル化することで、特に高DOF肢節において3次元ポーズ推定の精度が向上するか？
• RQ2 体幹に対する相対的位置（離散的ポーズ属性）を予測することで、回帰ベースの深度推定よりも信頼性が高く効果的な事前知識が得られるか？
• RQ3 本手法は、3次元アノテーションが存在しない屋外画像のような未学習ドメインに対しても一般化性能を示せるか？
• RQ4 ポーズ属性部の貢献度は、特に手首や足首のような困難な関節においてどの程度性能向上に寄与しているか？
• RQ5 ドメイン特化のトレーニングデータに依存せず、Human3.6MやMPI-INF-3DHPといった標準ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、Human3.6Mデータセットにおいて、プロトコル#1下で平均関節誤差52.6 mmを達成し、ベースラインと比較して顕著な向上を示し、従来のSOTA手法を上回った。
• MPI-INF-3DHPベンチマークでは、71.9%の3DPCKと35.8のAUCを達成し、先行手法を上回り、優れたクロスドメイン一般化性能を示した。
• アブレーションスタディにより、ポーズ属性部が手首関節で最大10.4 mm、足首関節で6.6 mmの誤差低減を実現したことが確認され、その有効性が裏付けられた。
• 双方向的依存関係モデリングのみで、ベースラインと比較して平均1.4 mmの誤差低減が達成され、性能向上への直接的貢献が示された。
• 3次元アノテーションやポーズ属性の教師信号がなくても、自己教師的ドメイン適応により屋外画像への一般化が良好に実現され、高い性能を維持した。