[論文レビュー] Generalizing Monocular 3D Human Pose Estimation in the Wild

Luyang Wang, Yan Chen+5 more|arXiv (Cornell University)|Apr 11, 2019

Human Pose and Action Recognition参考文献 50被引用数 6

ひとこと要約

本論文では、ステレオにインspiredされたニューラルネットワークと幾何的リファインメントを組み合わせ、屋外画像における高品質な3D人体ポーズラベルを生成する手法を提案する。これにより、正確な3Dアノテーションを備えた40万枚の画像からなる大規模データセットが構築可能となり、このデータセットでベースラインモデルを学習させることで、実世界の画像における一般化性能が著しく向上し、定量的ベンチマークおよびアクティビティ分類タスクの両方で最先端の手法を上回る性能を達成する。

ABSTRACT

The availability of the large-scale labeled 3D poses in the Human3.6M dataset plays an important role in advancing the algorithms for 3D human pose estimation from a still image. We observe that recent innovation in this area mainly focuses on new techniques that explicitly address the generalization issue when using this dataset, because this database is constructed in a highly controlled environment with limited human subjects and background variations. Despite such efforts, we can show that the results of the current methods are still error-prone especially when tested against the images taken in-the-wild. In this paper, we aim to tackle this problem from a different perspective. We propose a principled approach to generate high quality 3D pose ground truth given any in-the-wild image with a person inside. We achieve this by first devising a novel stereo inspired neural network to directly map any 2D pose to high quality 3D counterpart. We then perform a carefully designed geometric searching scheme to further refine the joints. Based on this scheme, we build a large-scale dataset with 400,000 in-the-wild images and their corresponding 3D pose ground truth. This enables the training of a high quality neural network model, without specialized training scheme and auxiliary loss function, which performs favorably against the state-of-the-art 3D pose estimation methods. We also evaluate the generalization ability of our model both quantitatively and qualitatively. Results show that our approach convincingly outperforms the previous methods. We make our dataset and code publicly available.

研究の動機と目的

• 制御されたデータセット（例：Human3.6M）で学習された3D人体ポーズ推定モデルが屋外画像に応用された際の一般化性能の低さを解決すること。
• 手動アノテーションに依存せずに、屋外画像から高品質な3Dポーズの真値を生成する原理的で整合性のある手法を開発すること。
• 大規模かつ多様な屋外3Dポーズデータセットを構築し、頑健な3Dポーズ推定モデルの学習を可能にすること。
• 訓練済みモデルの一般化性能を、実世界のベンチマークおよびアクティビティ分類などの下流タスクで評価すること。
• ステレオにインspiredされたアプローチにより生成された合成3Dラベルで学習させることで、既存手法を上回る性能が得られることを示すこと。

提案手法

• 左視点から擬似右視点を合成することで、単一視点からの2Dポーズを高品質な3Dポーズにマッピングするステレオにインspiredされたニューラルネットワークを設計する。
• 3Dポーズ再構築サブネットワークは、合成された視点からのマルチビュー2Dポーズを用いて、粗い3D人体ポーズを推定する。
• 物理的妥当性と関節の一貫性を強制することで、初期の3Dポーズ予測を幾何的探索スキームでリファインする。
• 3Dラベルジェネレータを用いて、既存の2Dポーズデータセットから40万枚を超える屋外画像の3Dアノテーションを自動的に生成する。
• 補助損失や特別なトレーニングスキームを用いずに、新たに生成された屋外3Dデータセットのみでベースライン3Dポーズ推定ネットワークを学習する。
• ゼロショット転移をMPI-INF-3DHPに適用し、Penn Actionでのアクティビティ分類を実施することで一般化性能を評価する。入力として予測された3D関節点を用いる。

実験結果

リサーチクエスチョン

• RQ1 手動アノテーションに依存せずに、深層学習ベースの手法が屋外画像に対して正確な3D人体ポーズラベルを生成可能か？
• RQ2 自動的に生成された屋外3Dラベルで3Dポーズ推定器を学習させることで、実世界の画像における一般化性能が向上するか？
• RQ3 合成された屋外3Dデータで学習したモデルの性能は、Human3.6M や MPI-INF-3DHP などのベンチマークで、最先端の手法と比較してどうなるか？
• RQ4 提案手法による予測3Dポーズは、アクティビティ分類などの下流タスクをどれほど効果的に支援できるか？
• RQ5 幾何的リファインメントは、制約のない困難なシーンにおいて、3Dポーズ推定の正確性を顕著に向上させられるか？

主な発見

• 提案された3Dラベルジェネレータは、屋外画像に対して高品質な3Dポーズを生成可能であり、正確な3Dアノテーションを備えた40万枚の画像からなる大規模データセットの構築を可能にする。
• 新規データセットで学習したベースラインモデルは、Human3.6MベンチマークでPCKスコア58.0を達成し、Zhouら[47]（64.9）やYangら[44]（59.7）といった先行研究を上回る性能を示す。
• MPI-INF-3DHPデータセットでは、AUCが33.8、PCKが71.2を達成し、Zhouら[47]（32.5 AUC、69.2 PCK）やYangら[44]（32.0 AUC、69.0 PCK）を上回る。
• Penn Actionデータセットにおけるアクティビティ分類では、予測された3D関節点を入力としたモデルが93%の精度を達成し、Zhouら[47]の80%を著しく上回る。
• 定性的な結果から、本手法は傾き、しゃがみ、ジャンプといった困難なポーズに対しても良好に一般化しており、ベースライン手法よりもより現実的な奥行きの変化を再現している。
• 幾何的リファインメントステップにより、3D関節の一貫性が著しく向上し、奥行きの曖昧さが低減されていることが、下流タスクの性能向上および可視化結果から裏付けられている。