[論文レビュー] A survey of top-down approaches for human pose estimation

Thong Duy Nguyen, Milan Kresovic|arXiv (Cornell University)|Feb 5, 2022

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

この論文は2016年以降のトップダウン型ディーブラーニングアプローチにおける2次元人体ポーズ推定の包括的サーベイを提供しており、まずオブジェクト検出器を用いて人物を検出する2段階パイプラインに焦点を当てている。CPNのような最先端モデルが強調されており、マルチステージの最適化とマルチ受容 field 特徴マッピングの統合により、COCO test-dev で73.0 APを達成している。

ABSTRACT

Human pose estimation in two-dimensional images videos has been a hot topic in the computer vision problem recently due to its vast benefits and potential applications for improving human life, such as behaviors recognition, motion capture and augmented reality, training robots, and movement tracking. Many state-of-the-art methods implemented with Deep Learning have addressed several challenges and brought tremendous remarkable results in the field of human pose estimation. Approaches are classified into two kinds: the two-step framework (top-down approach) and the part-based framework (bottom-up approach). While the two-step framework first incorporates a person detector and then estimates the pose within each box independently, detecting all body parts in the image and associating parts belonging to distinct persons is conducted in the part-based framework. This paper aims to provide newcomers with an extensive review of deep learning methods-based 2D images for recognizing the pose of people, which only focuses on top-down approaches since 2016. The discussion through this paper presents significant detectors and estimators depending on mathematical background, the challenges and limitations, benchmark datasets, evaluation metrics, and comparison between methods.

研究の動機と目的

• 2016年以降の深層学習ベースのトップダウン型2次元人体ポーズ推定アプローチについて、詳細なレビューを提供すること。
• トップダウンパラダイムにおける主要なオブジェクト検出器およびポーズ推定器の数学的基盤、アーキテクチャ、ワークフローを分析すること。
• AP、PCK、PCPといった標準ベンチマークおよび評価指標を用いて、最先端手法の評価と比較を行うこと。
• 特に遮蔽されたり検出が難しいキーポイントに関して、マルチペルソンポーズ推定における主な課題と制限を特定すること。
• トップダウン型ポーズ推定分野の新規研究者を対象に、トップダウン型ポーズ推定分野における進展を統合した基盤的リファレンスを提供すること。

提案手法

• 論文は、まずオブジェクト検出器を用いて人物を検出し、その後各検出されたバウンディングボックス内でのキーポイント推定を実行する2段階のトップダウンフレームワークをレビューしている。
• CPN（Cascaded Pyramid Network）のようなモデルが検討されており、2段階アーキテクチャを採用している：GlobalNetによる初期キーポイント予測と、RefineNetによる検出が難しいキーポイントの精錬。
• RefineNetは、異なる受容 field を通じた文脈的情報を統合するために、マルチレベルの特徴マッピング統合と残差接続を採用しており、遮蔽されたり曖昧な関節の局所化を向上させている。
• この手法は、畳み込みニューラルネットワークが生成するヒートマップからキーポイント位置を予測するヒートマップベースの回帰を活用している。
• RefineNetでは、困難な遮蔽・不可視関節に注目するため、オンラインハードキーポイントマイニングを組み込んでいる。
• 残差ブロックにおけるアイデンティティスキップ接続を用いることで、深層ネットワークにおける安定なエンドツーエンド学習と勾配の流れを可能としている。

実験結果

リサーチクエスチョン

• RQ1 2016年以降、アーキテクチャおよび性能の観点から、トップダウン型ディーブラーニング手法は2次元人体ポーズ推定においてどのように進化してきたか？
• RQ2 遮蔽されたり見えにくくなった関節の検出を向上させるために、最先端のトップダウンモデルで採用されている主な設計的選択肢は何か？
• RQ3 AP、PCK、PCPといった異なる評価指標は、ベンチマークデータセット上でのトップダウン型ポーズ推定モデルの性能をどのように反映しているか？
• RQ4 特に混雑したシーンや重なった人物を扱う際、トップダウンアプローチの主な制限は何であるか？
• RQ5 特徴マッピング統合戦略とマルチ受容 field モデリングは、CPNのようなモデルでキーポイント局所化をどのように向上させているか？

主な発見

• CPNモデルはCOCO test-devデータセットで平均精度（AP）73.0、test-challengeセットで72.1を達成し、COCO 2016キーポイントチャレンジの60.5から19％の向上を示した。
• RefineNetにおけるマルチレベル特徴マップの使用は、右肩、左膝、右股関節といった、しばしば遮蔽されたりテクスチャが乏しいキーポイントの検出を顕著に向上させた。
• RefineNetにおける残差接続とアイデンティティマッピングの統合により、深層ネットワークの効果的なバックプロパゲーションと安定した学習が可能となり、性能向上に寄与した。
• マルチスケール特徴マッピング統合を伴うヒートマップベースの回帰は、曖昧または遮蔽されたキーポイントの局所化を扱う上で、直接回帰を上回る性能を示した。
• オンラインハードキーポイントマイニングと文脈に配慮した特徴統合を組み合わせた2段階トップダウンパイプラインは、COCOのようなマルチペルソンデータセットでも優れた性能を示した。
• APやPCKh（体幹高さで正規化されたPCK）といった評価指標は、特にマルチペルソン環境下でのポーズ推定精度の定量的評価に有効であることが示された。