[論文レビュー] Recent Advances in Monocular 2D and 3D Human Pose Estimation: A Deep Learning Perspective

Wu Liu, Qian Bao+2 more|arXiv (Cornell University)|Apr 23, 2021

Human Pose and Action Recognition被引用数 9

ひとこと要約

本調査では、2014年から2021年までの単眼2次元および3次元人体ポーズ推定に関する包括的で統一的な深層学習的視点を提供し、最先端手法を体系的に分類し、遮蔽や深度の曖昧性といった課題を分析するとともに、ポーズ表現、ベンチマーク、今後の研究方向性に関する洞察を提示するとともに、3次元ポーズ処理用の公開コードツールボックスを提供している。

ABSTRACT

Estimation of the human pose from a monocular camera has been an emerging research topic in the computer vision community with many applications. Recently, benefited from the deep learning technologies, a significant amount of research efforts have greatly advanced the monocular human pose estimation both in 2D and 3D areas. Although there have been some works to summarize the different approaches, it still remains challenging for researchers to have an in-depth view of how these approaches work. In this paper, we provide a comprehensive and holistic 2D-to-3D perspective to tackle this problem. We categorize the mainstream and milestone approaches since the year 2014 under unified frameworks. By systematically summarizing the differences and connections between these approaches, we further analyze the solutions for challenging cases, such as the lack of data, the inherent ambiguity between 2D and 3D, and the complex multi-person scenarios. We also summarize the pose representation styles, benchmarks, evaluation metrics, and the quantitative performance of popular approaches. Finally, we discuss the challenges and give deep thinking of promising directions for future research. We believe this survey will provide the readers with a deep and insightful understanding of monocular human pose estimation.

研究の動機と目的

• 2次元キーポイント検出と3次元ポーズ推定の間のギャップを埋める、2次元から3次元への包括的で一貫した視点を提供すること。
• 統一されたフレームワークの下で、2次元および3次元ポーズ推定の主流となる深層学習ベースのアプローチを体系的に分類・分析すること。
• データ不足、2次元-3次元の曖昧性、複雑な多人数シナリオといった、単眼ポーズ推定における主な課題に対処すること。
• 代表的なポーズ表現スタイル、ベンチマークデータセット、評価指標、および主要手法間の定量的パフォーマンスを要約すること。
• 未解決の課題を特定し、弱教師付き学習や3次元シーンとの相互作用モデリングといった有望な今後の研究方向性を提案すること。

提案手法

• ネットワークアーキテクチャ、監視戦略、タスク定式化に基づいて、深層学習ベースの2次元および3次元ポーズ推定手法を一貫したフレームワークに分類・統合すること。
• 2次元と3次元ポーズ推定アプローチの内在的関係と相違点を分析し、3次元予測のための中間表現としての2次元の役割に焦点を当てる。
• ヒートマップ、キーポイント座標、3次元メッシュベースの表現といった、さまざまなポーズ表現形式をレビュー・比較すること。
• COCO、MPII、Human3.6M、3DPWなどのベンチマークデータセットを調査し、OKS、PCK、MPJPEといった標準指標を用いてパフォーマンスを評価すること。
• マルチステージ推論、マルチタスク学習、ボディモデルフィッティング（例：SMPL）といった高度な技術を紹介・議論し、3次元形状およびポーズ回復の向上に寄与すること。
• 再現可能性およびコミュニティ内のさらなる研究を支援するため、3次元ポーズデータ処理用の公開コードツールボックスをリリースすること。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ、監視戦略、表現形式の観点から、最も影響力のある深層学習ベースの2次元および3次元人体ポーズ推定手法どうしがどのように関連しているか。
• RQ2 特に深度の曖昧性、遮蔽、多人数間相互作用の観点から、単眼3次元ポーズ推定における主な課題は何か。
• RQ3 ヒートマップ、3次元座標、SMPLパラメータなどの異なるポーズ表現スタイルが、パフォーマンスと一般化性能にどのように影響を与えるか。
• RQ4 現在のベンチマークおよび評価指標は、現実世界でのパフォーマンスと耐性を的確に反映しているか。
• RQ5 弱教師付き学習、3次元シーンとの相互作用、仮想デジタル人間生成といった、今後の研究方向性の中で、分野の前進に最も寄与するものは何か。

主な発見

• 本調査では、2次元ポーズ推定を中間ステップとして活用する統一的フレームワークへの強いトレンドが特定され、精度と耐性の両面で顕著な向上が見られた。
• COCO や MPII のようなベンチマークで最先端の手法が高く評価されており、トップモデルではCOCOで95％を超えるOKS、Human3.6Mでは20 mm未満のMPJPEを達成している。
• 3次元ボディモデル（例：SMPL）と深層ニューラルネットワークを統合することで、エンドツーエンドの3次元形状およびポーズ推定が可能となり、特に制約のない環境で特に有効である。
• 遮蔽や人間同士の相互作用のため、多人数3次元ポーズ推定は依然として困難であり、多くの手法が2次元検出を前提としているため、リアルタイム性能に制限がある。
• 全身、多人数、シーンレベルの相互作用を含む大規模かつ完全にアノテートされた3次元データセットの不足が、3次元ポーズ推定の発展を妨げる主要なボトルネックである。
• 弱教師付き学習、合成データ生成、3次元シーン認識モデリングといった今後の方向性が、データ不足の克服および一般化性能の向上に不可欠であると特定された。