[論文レビュー] Structured Prediction of 3D Human Pose with Deep Neural Networks

Bugra Tekin, Isinsu Katircioglu+3 more|arXiv (Cornell University)|May 17, 2016

Human Pose and Action Recognition参考文献 30被引用数 48

ひとこと要約

本論文では、モノクロ画像からの3次元人体ポーズの構造的予測を可能にする深層学習フレームワークを提案する。畳み込みニューラルネットワーク（CNN）と過完備オートエンコーダーを統合することで、関節配置の高次元潜在表現を学習し、身体部位間の依存関係を暗黙的にモデル化する。この手法は、直接回帰やマックスマージン法と比較して、最先端の精度とより優れた構造保存性を達成する。

ABSTRACT

Most recent approaches to monocular 3D pose estimation rely on Deep Learning. They either train a Convolutional Neural Network to directly regress from image to 3D pose, which ignores the dependencies between human joints, or model these dependencies via a max-margin structured learning framework, which involves a high computational cost at inference time. In this paper, we introduce a Deep Learning regression architecture for structured prediction of 3D human pose from monocular images that relies on an overcomplete auto-encoder to learn a high-dimensional latent pose representation and account for joint dependencies. We demonstrate that our approach outperforms state-of-the-art ones both in terms of structure preservation and prediction accuracy.

研究の動機と目的

• 深度の曖昧さと隠蔽の影響を受けるモノクロ画像からの3次元人体ポーズ推定の課題に対処する。
• 直接回帰ネットワークが3次元ポーズ予測における関節依存関係を無視するという限界を克服する。
• 身体関節間の物理的・統計的制約をモデル化することで、構造保存性と予測精度を向上させる。
• 回帰の効率性と構造的予測のインダクティブバイアスを組み合わせた深層学習フレームワークを開発する。
• 過完備オートエンコーダーによる学習された高次元潜在空間が、手作業特徴量やPCAよりも、ポーズ依存関係をより効果的に暗黙に符号化できることを示す。

提案手法

• 3次元関節位置を高次元潜在空間にマップする過完備オートエンコーダーを学習し、複雑な関節関係を保持する。
• CNNを用いて、入力画像をオートエンコーダーが学習した潜在ポーズ表現に直接回帰する。
• 事前に訓練されたオートエンコーダーのデコーダーをCNNに接続し、全体のアーキテクチャをエンドツーエンドで微調整可能にする。
• オートエンコーダーの隠れ層を、人間の身体統計と関節制約を暗黙にモデル化する構造的で高次元の表現として活用する。
• エンドツーエンドの微調整により、3次元ポーズ推定を最適化し、一般化性能と精度を向上させる。
• 潜在空間を構造的出力空間として利用し、KDEのようなカーネルベース手法に代えて、深層的・データ駆動型の表現を採用する。

実験結果

リサーチクエスチョン

• RQ1 推論時最適化が高価であることを前提とせず、深層ニューラルネットワークアーキテクチャが3次元人体ポーズの関節依存関係を効果的にモデル化できるか？
• RQ2 過完備オートエンコーダーによる高次元潜在表現の学習が、直接回帰と比較して3次元ポーズ予測精度を向上させるか？
• RQ3 オートエンコーダーの潜在空間が、人間のポーズの物理的・統計的制約を暗黙に符号化でき、より優れた構造保存性をもたらすか？
• RQ4 本手法はマックスマージン構造的学習法やカーネルベース手法と比較して、精度と効率性の面で優れているか？
• RQ5 性能向上はオートエンコーダーの表現力に起因するのか、それとも単に追加のネットワーク容量によるものか？

主な発見

• 微調整後、Human3.6Mデータセット上で最先端の手法を上回り、全身3次元ポーズ推定の平均誤差が11.90 mmを達成した。
• KDEと比較して肢比誤差を25%、CNN-Directと比較して12%削減し、特に上半身で優れた構造保存性を示した。
• 最良の性能を示したオートエンコーダー構成は、1つの2000ユニット層または2つの300ユニット層を用いたもので、より深く広いアーキテクチャでは顕著な改善が得られなかった。
• 微調整は一貫して性能向上をもたらし、CNN-ExtraFC や CNN-PCA といったベースラインと比較して顕著に優れた性能を示した。これは、学習されたオートエンコーダー表現の優位性を裏付けた。
• 「写真を撮る」や「散歩中の犬を連れている」など、複雑な動作においても、物理的制約が顕著な状況でも、強力な性能を維持した。
• 可視化分析により、提案手法の予測ポーズは、ベースライン手法と比較して自然な肢比比をよりよく保存しており、誤差行列において青色のセル（理想に近い）が著しく増加していることが確認された。