[論文レビュー] Structure-Aware and Temporally Coherent 3D Human Pose Estimation

Rishabh Dabral, Anurag Mundhada+3 more|arXiv (Cornell University)|Nov 25, 2017

Human Pose and Action Recognition参考文献 25被引用数 15

ひとこと要約

本論文は、大規模な2Dポーズデータと構造に配慮した損失関数を活用し、広範な3Dラベル付きデータを必要とせずに3D表現を学習する半教師付き3D人体ポーズ推定手法を提案する。時間的ネットワークを統合してシーケンスレベルの整合性を確保することで、11.8%の性能向上を達成し、コンsumer GPU上で30 FPSで実行可能である。

ABSTRACT

Deep learning methods for 3D human pose estimation from RGB images require a huge amount of domain-specific labeled data for good in-the-wild performance. However, obtaining annotated 3D pose data requires a complex motion capture setup which is generally limited to controlled settings. We propose a semi-supervised learning method using a structure-aware loss function which is able to utilize abundant 2D data to learn 3D information. Furthermore, we present a simple temporal network which uses additional context present in pose sequences to improve and temporally harmonize the pose estimates. Our complete pipeline improves upon the state-of-the-art by 11.8% and works at 30 FPS on a commodity graphics card.

研究の動機と目的

• 3Dラベル付きデータの高コスト化を低減すること。
• 制約のない（野生の）環境における汎化性と精度を向上させること。
• 豊富な2Dポーズアノテーションを活用して3D構造を学習すること。
• 動画の文脈を用いて、順序付きポーズ推定における時間的整合性を向上させること。
• 一般ハードウェア上でリアルタイム推論性能を達成すること。

提案手法

• 本手法は、予測された3Dポーズにおける解剖学的妥当性を強制する構造に配慮した損失関数を採用する。
• 限られた3Dラベル付きデータと大規模な2Dポーズデータの組み合わせを用いて、半教師付き学習で訓練する。
• フレーム間の順序的依存関係をモデル化するための時間的ネットワークを導入する。
• 2Dの監視信号と3D構造制約の両方を同時に最適化することで、エンドツーエンドで学習する。
• リアルタイム推論を想定したアーキテクチャであり、標準的なGPUで30 FPSを達成する。
• 複雑なモーショントラッキングを必要としないため、広く利用可能な2Dポーズデータセットを活用可能である。

実験結果

リサーチクエスチョン

• RQ1 2Dアノテーションと最小限の3D監視のみで、3D人体ポーズ推定を顕著に改善できるか？
• RQ2 真の3Dポーズが存在しない状況でも、構造に配慮した損失が解剖学的リアリズムを効果的に強制できるか？
• RQ3 時間的文脈をモデル化することで、ポーズ推定の精度と滑らかさがどの程度向上するか？
• RQ4 軽量な時間的ネットワークが、整合性を向上させつつリアルタイム性能を達成できるか？
• RQ5 提案手法は、野生の環境を想定したベンチマークで、既存のSOTA手法を上回る性能を示せるか？

主な発見

• 提案手法は、野生の環境を想定した3Dポーズ推定ベンチマークにおいて、前回のSOTAを11.8%上回る性能を達成した。
• コンsumerグラフィックスカード上で30 FPSで実行可能であり、リアルタイム推論が可能である。
• 2Dデータに構造に配慮した損失を適用することで、3D監視が限られている状況でも3Dポーズの精度が顕著に向上した。
• 時間的モデリングにより、動画フレーム間でより一貫性があり滑らかなポーズシーケンスが得られた。
• 特別なモーションキャプチャ装置を必要とせず、制約のない環境への汎用性が高く、良好な性能を示した。
• 少量の3Dラベル付きデータと大規模な2Dアノテーションのみを用いても、強力な性能を発揮した。