[論文レビュー] DeepSkeleton: Skeleton Map for 3D Human Pose Regression

Qingfu Wan, Wei Zhang+1 more|arXiv (Cornell University)|Nov 29, 2017

Human Pose and Action Recognition参考文献 54被引用数 6

ひとこと要約

この論文では、RGB や 3D データの融合を必要とせず、中間特徴から直接 3D ヒューマンポーズを回帰することができる、新しいスケルトンマップ表現 DeepSkeleton を提案する。畳み込み逆伝播を用いてマルチスケールかつマルチクロップのスケルトンマップを生成することで、最先端の性能を達成した—Human3.6M では 86.5 mm の平均誤差、MPII では PCKh@0.5 で 74.8% を達成—、スケルトンマップのみで深度の曖昧さを効果的に解消でき、直接 RGB からの回帰を上回ることを示した。

ABSTRACT

Despite recent success on 2D human pose estimation, 3D human pose estimation still remains an open problem. A key challenge is the ill-posed depth ambiguity nature. This paper presents a novel intermediate feature representation named skeleton map for regression. It distills structural context from irrelavant properties of RGB image e.g. illumination and texture. It is simple, clean and can be easily generated via deconvolution network. For the first time, we show that training regression network from skeleton map alone is capable of meeting the performance of state-of-theart 3D human pose estimation works. We further exploit the power of multiple 3D hypothesis generation to obtain reasonbale 3D pose in consistent with 2D pose detection. The effectiveness of our approach is validated on challenging in-the-wild dataset MPII and indoor dataset Human3.6M.

研究の動機と目的

• 3D ヒューマンポーズ推定における曖昧な深度の問題を、コン act で構造的な中間表現によって解決すること。
• RGB-3D データ統合や 3D 監督を一切使わず、スケルトンマップからの直接的な 3D ポーズ回帰が最先端の性能に達することを示すこと。
• マルチスケールおよびマルチクロップのスケルトンマップ生成により、深度の曖昧さを解消し、暗黙的にデータ拡張を実現すること。
• 人体部品のセグメンテーション、2D ポーズ推定、3D 回帰を統合した単一のフレームワーク、DeepSkeleton に統合すること。
• 真値スケルトンマップを用いて評価することで、スケルトンマップベースの回帰の性能上限を確立すること。

提案手法

• テクスチャーや照明情報を含まないが、関節同士の接続関係のみを符号化する、軽量で畳み込み逆伝播によって生成される中間特徴としてのスケルトンマップを提案する。
• 入力画像をマルチスケールおよびマルチクロップで拡張することで、複数のスケルトンマップを生成し、マルチハイポセシス回帰を可能にする。
• RGB 画像からスケルトンマップを生成する畳み込み逆伝播ネットワークを用い、構造的および遮蔽に配慮した情報を保持する。
• スケルトンマップから直接 3D 関節座標を予測する単一の回帰ヘッドを採用し、複雑な最適化や 2D から 3D へのリフト段階を回避する。
• マルチスケールおよびマルチクロップ戦略を適用して多様な意味的特徴を生成し、遮蔽や視点変化に対してより頑健になるようにする。
• セグメンテーション、2D ポーズ検出、3D 回帰を統合した単一のフレームワークである DeepSkeleton を構築する。

実験結果

リサーチクエスチョン

• RQ1 RGB-3D データ統合を一切行わず、スケルトンマップ表現のみで 3D ヒューマンポーズ推定を効果的に行えるか？
• RQ2 複数のスケルトンマップからのマルチハイポセシス生成が、困難な屋外データセットで性能向上をもたらすか？
• RQ3 スケルトンマップベースの回帰と RGB 画像からの直接的回帰の性能は、どのように比較されるか？
• RQ4 真値スケルトンマップを用いた場合、スケルトンマップ表現の性能上限はどの程度か？
• RQ5 スケルトンマップのみで、3D ポーズ推定における深度の曖昧さ問題を解消できるか？

主な発見

• 1 つの予測スケルトンマップからの直接回帰により、MPII の平均 PCKh@0.5 は RGB ベースラインの 61.8% から 71.2% に向上し、相対的に 9.4% の改善を達成した。
• マルチスケールおよびマルチクロップのスケルトンマップを用いることで、MPII の平均 PCKh@0.5 は 74.8% に上昇し、マルチハイポセシス生成による顕著な向上が確認された。
• アキレス腱部の PCKh@0.5 は、マルチスケールおよびマルチクロップマップを組み合わせることで 16.4%（相対 24.2%）向上し、遮蔽およびスケール変動に強い性能が示された。
• 真値スケルトンマップからの回帰では、MPII で平均 PCKh@0.5 が 94.5% を達成し、スケルトンマップ表現が極めて有効であることが示され、予測と真値の性能差は小さいことがわかった。
• Human3.6M では 86.5 mm の平均関節誤差を達成し、3D 監督や後処理を一切使用せず、最新の回帰ベースの 3D ポーズ推定手法と同等の性能を発揮した。
• 1 つのスケルトンマップからの複数回帰のアンサンブルは、マルチハイポセシスシステムに劣り、マルチレベルのスケルトンマップが単なるモデルアンサンブルを超えて多様な意味的特徴を捉えていることを証明した。