[論文レビュー] Monocular 3D Human Pose Estimation Using Transfer Learning and Improved CNN Supervision

Dushyant Mehta, Helge Rhodin+4 more|arXiv (Cornell University)|Nov 29, 2016

Human Pose and Action Recognition被引用数 34

ひとこと要約

この論文は、骨格の運動学的関係を用いた向上したCNNの監視と、マルチレベルのスキップ接続を組み合わせ、2Dポーズモデルからの転移学習を適用することで、標準ベンチマークで25%以上の向上を達成する、モノクローラル3次元人体ポーズ推定の新しいCNNベースの手法を提案している。また、現実世界への一般化を目的として、マーカーレスモーションキャプチャに基づく新しい多様なベンチマークを導入している。

ABSTRACT

We propose a new CNN-based method for regressing 3D human body pose from a single image that improves over the state-of-the-art on standard benchmarks by more than 25%. Our approach addresses the limited generalizability of models trained solely on the starkly limited publicly available 3D body pose data. Improved CNN supervision leverages first and second order parent relationships along the skeletal kinematic tree, and improved multi-level skip connections to learn better representations through implicit modification of the loss landscape. Further, transfer learning from 2D human pose prediction significantly improves accuracy and generalizability to unseen poses and camera views. Additionally, we contribute a new benchmark and training set for human body pose estimation from monocular images of real humans, that has ground truth captured with marker-less motion capture. It complements existing corpora with greater diversity in pose, human appearance, clothing, occlusion, and viewpoints, and enables increased scope of augmentation. The benchmark covers outdoors and indoor scenes.

研究の動機と目的

• 公開の3次元ポーズデータが限られているため、3次元人体ポーズモデルの一般化能力が制限されている問題に対処すること。
• 骨格の運動学的関係を用いた強化されたCNN監視により、特徴表現学習を向上させること。
• 2次元ポーズ予測からの転移学習により、未知のポーズやカメラ画角への一般化を向上させること。
• ポーズ、外見、衣類、隠蔽、視点の変化といった現実世界の変動を含む、多様なモノクローラル画像シーケンスと3次元真値を持つ、新しいベンチマークの構築。
• マーカーレスモーションキャプチャによる真値を用いて、より広範なデータ増強とより頑健な評価を可能にする支援。

提案手法

• 骨格の運動学的ツリーにおける1階および2階の親関係を用いて、CNNの監視を向上させる。
• 改善されたマルチレベルのスキップ接続を用いて、損失のランドスケープを変更し、より良い階層的表現を学習する。
• 事前学習済みの2次元人体ポーズ推定ネットワークの重みを初期値として用いることで、転移学習を適用する。
• 強化された監視信号を用いて、3次元関節座標の回帰損失をエンドツーエンドで最適化する。
• マーカーレスモーションキャプチャを用いて、多様で現実世界のモノクローラル画像シーケンスと3次元真値を収集することで、新しいベンチマークを構築する。
• 訓練データには、多様なポーズ、人間の外見、衣類、隠蔽、屋内／屋外のシーンを含め、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 骨格の運動学的関係による向上したCNN監視は、3次元ポーズ推定の精度をどのように向上させるか？
• RQ2 2次元ポーズモデルからの転移学習は、未知のポーズやカメラ画角への一般化をどの程度向上させるか？
• RQ3 マルチレベルのスキップ接続は、3次元ポーズ回帰における特徴学習を向上させるために、損失のランドスケープを効果的に変更できるか？
• RQ4 マーカーレスモーションキャプチャデータを用いた多様で現実世界の変動を含むベンチマークは、モデルの性能と評価にどのように影響を与えるか？
• RQ5 提案手法は、標準ベンチマークにおいてSOTAに比べてどの程度の性能向上を達成するか？

主な発見

• 提案手法は、SOTAと比較して標準ベンチマークで25%以上の性能向上を達成した。
• 1階および2階の親関係による骨格の運動学的関係の統合により、モデルの精度が向上した。
• 2次元ポーズ予測からの転移学習は、未知のポーズやカメラ視点への一般化を顕著に向上させた。
• 改善されたマルチレベルのスキップ接続は、損失のランドスケープを暗黙的に変更することで、より良い特徴表現学習を実現した。
• マーカーレスモーションキャプチャによる真値を用いた新しいベンチマークは、より多様で現実的な訓練と評価を可能にし、広範な増強と一般化を支援した。
• 本手法は、隠蔽、多様な衣類、複雑な視点といった多様な現実世界の条件下でも、強力な頑健性を示した。