[論文レビュー] Sparseness Meets Deepness: 3D Human Pose Estimation from Monocular Video

Xiaowei Zhou, Menglong Zhu+3 more|arXiv (Cornell University)|Nov 30, 2015

Human Pose and Action Recognition参考文献 51被引用数 39

ひとこと要約

本論文は、2次元関節検出のための深層畳み込みネットワークとスパarsity駆動型3次元幾何的事前知識、および期待値最大化（EM）アルゴリズムを用いた時間的滑らかさを統合することで、単眼動画からの3次元人体ポーズ推定のための新規フレームワークを提案する。本手法は2次元検出の不確実性と3次元再構成を共同で最適化することで3次元ポーズの精度を向上させ、Human3.6Mで最先端の性能を達成し、挑戦的なPennActionデータセットでも強力な2次元ベースラインを上回る。

ABSTRACT

This paper addresses the challenge of 3D full-body human pose estimation from a monocular image sequence. Here, two cases are considered: (i) the image locations of the human joints are provided and (ii) the image locations of joints are unknown. In the former case, a novel approach is introduced that integrates a sparsity-driven 3D geometric prior and temporal smoothness. In the latter case, the former case is extended by treating the image locations of the joints as latent variables. A deep fully convolutional network is trained to predict the uncertainty maps of the 2D joint locations. The 3D pose estimates are realized via an Expectation-Maximization algorithm over the entire sequence, where it is shown that the 2D joint location uncertainties can be conveniently marginalized out during inference. Empirical evaluation on the Human3.6M dataset shows that the proposed approaches achieve greater 3D pose estimation accuracy over state-of-the-art baselines. Further, the proposed approach outperforms a publicly available 2D pose estimation baseline on the challenging PennAction dataset.

研究の動機と目的

• 自己遮蔽、視点の変化、画像ノイズによる単眼動画からの3次元人体ポーズ回復における本質的曖昧性に対処すること。
• 2次元関節検出の不確実性と3次元幾何的制約を共同でモデル化することで、3次元ポーズ推定の精度を向上させること。
• 同期された2次元-3次元トレーニングデータが存在しない状況でも、2次元アノテーションとモーショントラッキング由来の3次元辞書のみを用いて、ロバストな3次元ポーズ推定を可能にすること。
• 時間的滑らかさと包括的な3次元ポーズ事前知識を用いて、検出器の誤りや遮蔽に対する耐性を高めること。

提案手法

• 2次元関節位置の信頼性ヒートマップを予測するための深層完全畳み込みネットワークを訓練し、検出の不確実性をモデル化する。
• モーショントラッキングデータからスパースな3次元ポーズ辞書を構築し、妥当な3次元人体ポーズを表現する。
• 2次元位置の不確実性を周辺化することで、3次元ポーズの推定と2次元検出の精緻化を共同で行うために期待値最大化（EM）アルゴリズムを用いる。
• 3次元ポーズおよび視点パラメータに対して時間的滑らかさを強制し、フレーム間の一貫性を向上させる。
• フレームワークはEステップ（現在の3次元ポーズをもとに2次元検出の不確実性を推定）とMステップ（2次元検出と幾何的事前知識を用いて3次元ポーズを更新）を交互に繰り返す。
• 同期された2次元-3次元トレーニングデータを必要とせず、2次元アノテーションとMoCapデータから学習された3次元辞書に依存する。

実験結果

リサーチクエスチョン

• RQ1 2次元検出と3次元再構成の共同最適化は、単眼動画における3次元ポーズ推定精度を向上させ得るか？
• RQ2 2次元関節位置の検出不確実性は、3次元ポーズ推論の過程で効果的にモデル化され、周辺化可能か？
• RQ3 スパarsity駆動型3次元幾何的事前知識と時間的滑らかさは、単眼3次元ポーズ推定における曖昧性をどの程度低減できるか？
• RQ4 同期された2次元-3次元トレーニングデータを必要としない本手法は、最先端のアプローチを上回る性能を発揮できるか？
• RQ5 本手法は、屋外動画における遮蔽、高速運動、大きなポーズ変化に対してどの程度耐性を示すか？

主な発見

• Human3.6Mデータセットでは、本手法は最先端のベースラインを上回る3次元ポーズ推定精度を達成し、3次元事前知識と時間的モデリングの有効性を示した。
• PennActionデータセットでは、ゴルフスイングで1ピクセルあたりの関節距離誤差を24.78（ベースライン）から14.03に、テニスフォアハンドでは29.15から20.99に削減した。
• ゴルフスイングではPCK指標が0.38から0.54に、テニスフォアハンドでは0.40から0.45に向上し、関節位置特定の精度向上を示した。
• 初期化ステップ（CNNヒートマップを用いる）のみでもベースラインを上回った。これは、深層特徴が2次元検出に価値をもたらすことを示している。
• EM最適化ステップにより、3次元幾何的制約と時間的滑らかさを活用して、平均で40％以上の誤差削減が達成された。
• 自己遮蔽、高速運動、可変視点といった困難な状況下でも、PennActionにおける定性的な結果からポーズの回復に成功した。