[論文レビュー] A Review on Human Pose Estimation

Rohit Josyula, Sarah Ostadabbas|arXiv (Cornell University)|Oct 13, 2021

Human Pose and Action Recognition参考文献 36被引用数 13

ひとこと要約

このレビューは、コンピュータビジョンにおける人間のポーズ推定（HPE）について包括的な概要を提供し、Pictorial Structures や Flexible Mixture-of-Parts といった古典的手法から、Convolutional Pose Machine（CPM）のようなディープラーニングベースのアプローチに至るまでをカバーしている。2Dおよび3D HPEのボディ、顔、ハンドモダリティにおけるメトリクス、データセット、ベンチマークを評価しており、主な貢献として、基準の体系的分類、パフォーマンスメトリクスの詳細な分析、および最先端モデルとオープンソース実装のキュレートされたサーベイが挙げられる。

ABSTRACT

The phenomenon of Human Pose Estimation (HPE) is a problem that has been explored over the years, particularly in computer vision. But what exactly is it? To answer this, the concept of a pose must first be understood. Pose can be defined as the arrangement of human joints in a specific manner. Therefore, we can define the problem of Human Pose Estimation as the localization of human joints or predefined landmarks in images and videos. There are several types of pose estimation, including body, face, and hand, as well as many aspects to it. This paper will cover them, starting with the classical approaches to HPE to the Deep Learning based models.

研究の動機と目的

• コンピュータビジョンにおける人間のポーズ推定（HPE）の古典的およびディープラーニングベースのアプローチを体系的にレビューすること。
• HPE研究で用いられる主要なパフォーマンスメトリクス、基準、評価プロトコルを分析・比較すること。
• ボディ、顔、ハンドモダリティにおける2Dおよび3D HPEの主要なデータセットを分類・要約すること。
• 単一画像から動画ベースのポーズ推定へのアルゴリズムの進化、ならびにアーキテクチャのイノベーションを検討すること。
• 実用的な研究および応用用途を念頭に、最先端のモデルとオープンソース実装を収集・評価すること。

提案手法

• グラフィカルモデルを用いて空間的・外観的制約を導入する、Pictorial Structures や Flexible Mixture-of-Parts（FMP）といった古典的手法を調査。
• ヒートマップとコンテキストモデリングを用いたマルチステージ畳み込みネットワークを特徴とする、ディープラーニングフレームワークである Convolutional Pose Machine（CPM）を分析。
• Mean Average Precision（mAP）、PCK、MPJPE といった標準的なメトリクスを用いてパフォーマンスを評価し、2Dおよび3Dキーポイント局在化の正確性に焦点を当てる。
• モダリティ（2D/3D）、身体部位（ボディ、顔、ハンド）、入力タイプ（画像対比動画）に基づいてHPEシステムを分類し、アーキテクチャおよびデータパイプラインの違いに注目。
• 単一画像および動画ベースのHPE用に、GitHubリポジトリおよびモデル実装を体系的に収集し、モデルアーキテクチャ、入力処理、トレーニングプロトコルを含む。
• モダリティおよびアノテーションタイプ（2D/3Dキーポイントアノテーションを含む）に基づいてデータセットをマッピングし、その規模と多様性（例：COCO、MPII、300W、FreiHand、WFLW）を評価。

実験結果

リサーチクエスチョン

• RQ1 Pictorial Structures や FMP といった古典的手法は、人間の身体の関節構造をどのようにモデル化しているのか。また、遮蔽や変形に対処する際の限界は何か？
• RQ2 Convolutional Pose Machine などのモデルが、古典的手法からディープラーニングベースのHPEへの移行を可能にした主なアーキテクチャ的イノベーションは何か？
• RQ3 mAP、PCK、MPJPE といった異なる評価メトリクスは、2Dおよび3Dポーズ推定タスクにおけるHPEモデルのパフォーマンスをどのように反映しているか？
• RQ4 ボディ、顔、ハンドポーズ推定ベンチマークにおいて、データセット設計、アノテーション品質、規模の主な違いは何か？
• RQ5 動画ベースのHPEモデルは、単一画像手法と比較して、時間的コンテキストをどのように活用することで精度を向上させているか？

主な発見

• Pictorial Structures や FMP といった古典的手法はHPEの基盤を築いたが、遮蔽、変形、グローバルコンテキストの欠如といった課題を抱えており、これに起因してディープラーニングの採用が進んだ。
• Convolutional Pose Machine（CPM）は、スタックド・アワークラスモジュールとヒートマップを用いたマルチステージで微分可能なディープラーニングフレームワークを導入し、キーポイント局在化の精度を向上させた。
• COCOデータセットにおける最先端の2Dボディポーズ推定モデルは、HRNet や SimpleBaseline といった現代的なアーキテクチャを用いて、mAPスコアが70％を超える。
• 3D HPEモデルのVoxelPose や GAST-Net は、マルチビュー監視と時間的モデリングを活用し、Human3.6Mで100mm未満のMPJPE誤差を達成し、優れた一般化性能を示した。
• 3Dハンドポーズ推定においては、Hand3D や深度ベースの増強技術（例：HandAugment）を用いたモデルが、FreiHand や Panoptic-Hands1.0で中央誤差20mm未満を達成した。
• VideoPose3D や DetectAndTrack といった動画ベースのHPEモデルは、時間的整合性と再帰的または3D-CNNモデリングを活用することで、ジターリダムを低減し、精度と耐障害性を向上させた。