[論文レビュー] Forecasting Human Dynamics from Static Images

Yu-Wei Chao, Shuicheng Yan+3 more|arXiv (Cornell University)|Apr 11, 2017

Human Pose and Action Recognition参考文献 1被引用数 14

ひとこと要約

本論文は、1枚のRGB画像から3次元人体ダイナミクスを予測するための最初のフレームワークを紹介する。統合された3次元ポーズ予測ネットワーク（3D-PFNet）を用い、深層学習による2次元ポーズ予測と3次元ポーズ回復を統合することで、MoCapデータなど多様なデータで学習することにより、2次元ポーズ予測および3次元ポーズ回復の両面で最先端の性能を達成し、Human3.6Mでは平均関節誤差が87.6mmである。

ABSTRACT

This paper presents the first study on forecasting human dynamics from static images. The problem is to input a single RGB image and generate a sequence of upcoming human body poses in 3D. To address the problem, we propose the 3D Pose Forecasting Network (3D-PFNet). Our 3D-PFNet integrates recent advances on single-image human pose estimation and sequence prediction, and converts the 2D predictions into 3D space. We train our 3D-PFNet using a three-step training strategy to leverage a diverse source of training data, including image and video based human pose datasets and 3D motion capture (MoCap) data. We demonstrate competitive performance of our 3D-PFNet on 2D pose forecasting and 3D pose recovery through quantitative and qualitative results.

研究の動機と目的

• 静的画像からの未来の3次元人体ポーズを予測するという課題に取り組むこと。これは、従来の文献では未解決の課題であった。
• 2次元ポーズの予測と2次元予測からの3次元スケルトンの回復を統合的に処理する、統一された深層学習フレームワークを構築すること。
• 画像ベースのポーズデータセット、動画シーケンス、3次元モーションキャプチャ（MoCap）データを含む多様な訓練データを活用することで、一般化性能と精度を向上させること。
• 2次元予測と3次元変換を統合した1つの整合的で一貫性のあるアーキテクチャに統合された3D-PFNetをエンド・ツー・エンドで学習可能にする。
• 静的画像からの3次元ポーズ予測が現実世界の応用分野（ロボット工学やアニメーションなど）において2次元のみの予測よりもより実用的であることを示すこと。

提案手法

• 3D-PFNetは、単一画像からの2次元ポーズ推定、シーケンス予測、3次元ポーズ回復を統合する3段階の学習戦略を採用する。
• 時間的モデリングを活用してシーケンス生成を可能にする深層ニューラルネットワーク（DNN）を用い、1枚の画像から将来の2次元ポーズを予測する。
• 別個の3次元スケルトン変換ネットワークが、MoCapデータから生成された合成データを用いて、予測された2次元ヒートマップを3次元関節座標に変換する。
• 画像、動画、MoCapデータセットの組み合わせを用いてエンド・ツー・エンドで3D-PFNetを学習させ、強固な一般化性能を実現する。
• 3次元回復ネットワークはMoCapデータから導出された合成例で学習され、アバターのホイールネットワークからのノイズの多い2次元ヒートマップに対しても対応可能である。
• 3次元ポーズ性能の評価には平均関節位置誤差（MPJPE）、2次元ポーズ性能の評価にはPCK@0.05をそれぞれ使用する。

実験結果

リサーチクエスチョン

• RQ1 運動の手がかりなしに、1枚のRGB画像から正確に将来の3次元人体ポーズを予測することは可能か？
• RQ2 2次元ポーズ予測と3次元ポーズ回復を統合することで、人体ダイナミクス予測の精度と実用性はどの程度向上するか？
• RQ3 合成MoCapデータで学習したDNNベースの3次元ポーズ回復ネットワークは、実世界のノイズの多い2次元ヒートマップに対し、どの程度一般化できるか？
• RQ4 統合された3D-PFNetフレームワークをエンド・ツー・エンドで学習することで、分離型または2段階アプローチに比べ、2次元および3次元ポーズ予測で優れた性能を達成できるか？
• RQ5 繰り返しや静的終了を示すシーケンスに対してもモデルは一般化可能か？また、このような状況ではどのように対処するか？

主な発見

• 3D-PFNetは、3次元ポーズ回復においてHuman3.6Mデータセットで平均関節位置誤差（MPJPE）87.6mmを達成し、Convex法（158.6mm）およびSMPLify法（154.9mm）を著しく上回った。
• 2次元ポーズ予測においては、PCK@0.05の値がtimestep 8以降に安定し、長時間予測においても頑健であることが示された。
• 3次元回復ネットワークは、左膝（171.7mmから76.5mm）および左足首（258.5mmから113.4mm）の主な関節で、誤差を50％以上削減した。
• ノイズの多い2次元ヒートマップへの一般化性能が強く、クリーンな2次元座標を前提とする手法よりも、ヒートマップそのものに直接学習させたことで優れた性能を発揮した。
• ベースライン手法（例：NN-allおよびNN-oracle）の失敗事例から、本手法はエンド・ツー・エンドでヒートマップに注意を向けた設計であるがゆえに、ポーズのずれや隠蔽に対してもより頑健であることが明らかになった。
• 図10の定性的な結果から、3D-PFNetは、複雑なポーズや動的運動においても、実測値に近い妥当で正確な3次元ポーズを生成していることが確認された。