[論文レビュー] Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos

Yu Cheng, Bo Wang+2 more|arXiv (Cornell University)|Dec 22, 2020

Human Pose and Action Recognition参考文献 49被引用数 5

ひとこと要約

本論文は、カメラパラメータを必要とせず、単眼動画におけるロバストな3次元多人像ポーズ推定を実現する、グラフ畳み込みネットワーク（GCNs）と時系列畳み込みネットワーク（TCNs）を組み合わせた新規フレームワークを提案する。方向性のある関節およびボーンGCNは、2次元ポーズ推定器からの信頼度スコアを活用して、隠蔽されたり欠落したりした身体部位を回復する。一方、関節-TCN、速度-TCN、およびルート-TCNモジュールは、時間的整合性とカメラ中心のポーズ推定を強化し、MuPoTS-3DおよびHuman3.6Mデータセットで最先端の性能を達成する。

ABSTRACT

Despite the recent progress, 3D multi-person pose estimation from monocular videos is still challenging due to the commonly encountered problem of missing information caused by occlusion, partially out-of-frame target persons, and inaccurate person detection. To tackle this problem, we propose a novel framework integrating graph convolutional networks (GCNs) and temporal convolutional networks (TCNs) to robustly estimate camera-centric multi-person 3D poses that do not require camera parameters. In particular, we introduce a human-joint GCN, which, unlike the existing GCN, is based on a directed graph that employs the 2D pose estimator's confidence scores to improve the pose estimation results. We also introduce a human-bone GCN, which models the bone connections and provides more information beyond human joints. The two GCNs work together to estimate the spatial frame-wise 3D poses and can make use of both visible joint and bone information in the target frame to estimate the occluded or missing human-part information. To further refine the 3D pose estimation, we use our temporal convolutional networks (TCNs) to enforce the temporal and human-dynamics constraints. We use a joint-TCN to estimate person-centric 3D poses across frames, and propose a velocity-TCN to estimate the speed of 3D joints to ensure the consistency of the 3D pose estimation in consecutive frames. Finally, to estimate the 3D human poses for multiple persons, we propose a root-TCN that estimates camera-centric 3D poses without requiring camera parameters. Quantitative and qualitative evaluations demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 遮蔽、画面上外の人物、不正確な検出が原因で欠落または不正確なポーズ推定が生じる単眼動画における3次元多人像ポーズ推定の課題に対処すること。
• カメラキャリブレーションパラメータを必要としないカメラ中心の3次元ポーズ推定を可能にすることで、人物中心のポーズ推定の限界を克服すること。
• 信頼度に敏感な方向性のあるグラフを用いたGCNにより、関節およびボーンの関係をモデル化することで、空間的ポーズ回復を向上させること。
• 運動ダイナミクスと速度をモデル化する時系列畳み込みネットワークの統合により、時間的整合性と遮蔽に対する耐性を高めること。
• 特に遮蔽による欠落情報の処理において、ベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 2次元ポーズ推定器の信頼度スコアをエッジ重みとして用いる方向性のあるグラフに、関節GCNを導入し、信頼性の高い関節情報を遮蔽されたり信頼度が低い関節へ伝搬する。
• 部品アフィニティフィールドの信頼度スコアを用いてボーン接続をモデル化するボーンGCNを提案し、関節位置に加え、空間的コンテキストを補完的に提供する。
• 関節GCNとボーンGCNの特徴を連結し、全結合層に供給することで、フレームごとに人物中心の3次元ポーズを予測する。
• 関節-TCNを用いて、人物中心のポーズ系列における連続フレーム間の相関をモデル化し、時間的滑らかさと人間のダイナミクス制約を強制する。
• 過去のフレームからの関節速度を推定する速度-TCNを導入し、運動事前知識を活用することで、遮蔽に対する耐性を高める。
• 弱い透視投影カメラモデルに基づくルート-TCNを開発し、相対的深度（Z/f）を推定することでカメラ中心の3次元ポーズを予測し、カメラパラメータの必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 2次元ポーズ推定器からの信頼度スコアを統合した方向性のあるグラフベースのGCNは、3次元ポーズ推定における遮蔽または信頼度が低い関節の空間的回復を改善できるか？
• RQ2 ボーンレベルの関係は、関節レベルの情報にどのように補完的に寄与し、3次元ポーズ推定の耐性を高められるか？
• RQ3 時系列畳み込みネットワークは、単眼動画シーケンスにおけるポーズ推定精度と遮蔽に対する耐性をどの程度向上できるか？
• RQ4 カメラパラメータを必要とせず、高い正確性を維持しながらカメラ中心の3次元ポーズ推定を達成できるか？
• RQ5 本フレームワークは、遮蔽や画面上外の人物による欠落情報の処理において、最先端の手法と比較してどのように優れているか？

主な発見

• MuPoTS-3Dデータセットでは30.4 mmのPA-MPJPEを達成し、元のテストスプリットでは2位、サブセットでは3位と、優れた一般化性能を示した。
• オリジナルテストセットからサブセットへの変換に伴うPA-MPJPEの増加が21.5 mmにとどまり、トップクラスの手法が示す29.7–30.6 mmの増加と比べ顕著に優れている。
• Human3.6Mデータセットでは、カメラ中心のポーズ推定で88.1 mmのMPREを達成し、前人最高の120 mmから31.9 mmの改善を示しており、多人像コンテキストにおける優れた性能を示している。
• 速度-TCNモジュールは運動ダイナミクスを活用することで遮蔽に対する耐性を高め、運動予測に焦点を当てているため、関節-TCNに比べ欠落データの処理で優れた性能を示した。
• ルート-TCNは相対的深度（Z/f）のみを用いてカメラ中心のポーズを効果的に推定し、カメラキャリブレーションの必要性を排除することで、実世界のシナリオへの展開を可能にした。
• 定性的な結果では、本フレームワークが複数人の人物間の相対的位置関係を効果的に捉えており、ベースラインと比較して遮蔽処理が優れており、関節位置の誤差が少ないことが確認された。