[論文レビュー] Bottom-up approaches for multi-person pose estimation and it's applications: A brief review

Milan Kresović, Thong Duy Nguyen|arXiv (Cornell University)|Dec 22, 2021

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

本稿は、最近の2次元および3次元のボトムアップ多人物ポーズ推定手法をレビューし、リアルタイム応用における速度と効率性に焦点を当てる。主なアーキテクチャの分析、標準データセットでの性能評価、オクルージョンへの感受性やポーズの不確実性といった制限要因の同定に加え、将来的な方向性として、向上したコンテキストモデリング、効率的な推論、物理的制約を用いた3次元推定の強化を提案する。

ABSTRACT

Human Pose Estimation (HPE) is one of the fundamental problems in computer vision. It has applications ranging from virtual reality, human behavior analysis, video surveillance, anomaly detection, self-driving to medical assistance. The main objective of HPE is to obtain the person's posture from the given input. Among different paradigms for HPE, one paradigm is called bottom-up multi-person pose estimation. In the bottom-up approach, initially, all the key points of the targets are detected, and later in the optimization stage, the detected key points are associated with the corresponding targets. This review paper discussed the recent advancements in bottom-up approaches for the HPE and listed the possible high-quality datasets used to train the models. Additionally, a discussion of the prominent bottom-up approaches and their quantitative results on the standard performance matrices are given. Finally, the limitations of the existing methods are highlighted, and guidelines of the future research directions are given.

研究の動機と目的

• 2次元および3次元のボトムアップ手法における最新の状態を包括的に概説すること。
• キーポイントAPやMPJPEといった主要な指標を用いて、標準ベンチマーク上での顕著なボトムアップ手法の性能を評価すること。
• 現在のボトムアップ手法における深刻な制限要因、特にオクルージョンやポーズの不確実性、3次元特徴符号化の課題を特定すること。
• グローバル・ローカルコンテキストモデリングの強化や時間的安定性の向上といった課題を提示することで、将来的な研究を導くこと。
• ボトムアップとトップダウンのパラダイムを比較し、実世界での展開において精度と推論速度のトレードオフを明らかにすること。

提案手法

• ボトムアップ手法は、1段階の検出器を用いて入力画像または動画内の全人体キーポイント候補を最初に検出する。
• 検出されたキーポイント候補は、後処理の最適化ステップでアソシエイティブエンコーディングやパーツアフィニティフィールドを用いて個々の人体ポーズにグループ化される。
• 3次元ポーズ推定では、XNectのような手法は、初期段階で関節位置でのみ3次元ポーズベクトルを符号化し、周囲のピクセルにそれを伝搬することで、符号化の衝突を低減する。
• MubyNetは、骨格の全ピクセル位置に3次元ポーズベクトルを符号化するため、特徴空間の衝突が生じやすく、最適でない性能を示す。
• 本レビューでは、COCO、MPII、3DPWといった標準データセットを用い、キーポイントAPや平均1関節位置誤差（MPJPE）といった指標を適用して手法を評価する。
• 将来的な手法設計は、効率的な推論、オクルージョンへの耐性、時間的整合性を確保するための物理的運動制約の統合の必要性に基づく。

実験結果

リサーチクエスチョン

• RQ1 ボトムアップ多人物ポーズ推定手法は、標準ベンチマーク上でのトップダウン手法と比較して、精度と推論速度の面でどのように異なるか？
• RQ2 現在のボトムアップ手法の主な失敗事例や制限要因は何か。特に、混雑した場面やオクルージョンが生じる場面での課題は？
• RQ3 MubyNetのような3次元ボトムアップ手法が、最適でない3次元特徴符号化を経験する理由は何か。XNectはその問題をどのように軽減しているか？
• RQ4 局所的およびグローバルコンテキストは、ポーズグループ化の精度向上と誤関連エラーの低減にどのように寄与するか？
• RQ5 リアルタイム展開におけるボトムアップポーズ推定の耐性、効率性、汎化性能を向上させるための将来的な研究方向性は何か？

主な発見

• ボトムアップ手法はリアルタイムの推論速度を達成しており、自動運転や監視など遅延が許されない応用に適している。
• 高速な推論が可能である一方で、COCOのような困難なベンチマークでは、トップダウン手法に比べて一般的に精度が低い。
• XNectは関節位置でのみ3次元ベクトルを符号化し、それを伝搬することで、3次元ポーズ推定における耐性を向上させている。
• MubyNetの全ピクセルへの3次元符号化は、特徴空間の曖昧さを引き起こし、2次元ポーズ推定が不正確な場合に特に効果が薄い。
• 首のオクルージョンはXNectの性能を著しく低下させ、信頼できる3次元推定に可視の上半身関節依存性があることを示している。
• 四肢の混同、オクルージョンによる人物の欠落、非人体オブジェクトからの誤検出といった失敗事例は、より優れたコンテキストモデリングと頑健なトラッキングの必要性を強調している。