[論文レビュー] Human Motion Prediction via Spatio-Temporal Inpainting

Alejandro Hernandez Ruiz, Jüergen Gall+1 more|arXiv (Cornell University)|Dec 13, 2018

Human Pose and Action Recognition参考文献 35被引用数 16

ひとこと要約

本論文は、空間的・時間的インpaintingとして定式化することで、ボディポーズと絶対的位置を同時にモデル化する、長期的3次元人体運動予測のためのスパatio-temporal GANベースのフレームワークを提案する。L2損失の限界を克服するための周波数ベースの指標を導入し、Human3.6Mで最先端の性能を達成しており、遮蔽や欠損フレームに対してもロバストである。行動ラベルを必要とせず、2秒間のリアルな運動シーケンスを生成する。

ABSTRACT

We propose a Generative Adversarial Network (GAN) to forecast 3D human motion given a sequence of past 3D skeleton poses. While recent GANs have shown promising results, they can only forecast plausible motion over relatively short periods of time (few hundred milliseconds) and typically ignore the absolute position of the skeleton w.r.t. the camera. Our scheme provides long term predictions (two seconds or more) for both the body pose and its absolute position. Our approach builds upon three main contributions. First, we represent the data using a spatio-temporal tensor of 3D skeleton coordinates which allows formulating the prediction problem as an inpainting one, for which GANs work particularly well. Secondly, we design an architecture to learn the joint distribution of body poses and global motion, capable to hypothesize large chunks of the input 3D tensor with missing data. And finally, we argue that the L2 metric, considered so far by most approaches, fails to capture the actual distribution of long-term human motion. We propose two alternative metrics, based on the distribution of frequencies, that are able to capture more realistic motion patterns. Extensive experiments demonstrate our approach to significantly improve the state of the art, while also handling situations in which past observations are corrupted by occlusions, noise and missing frames.

研究の動機と目的

• 2秒以上の長期にわたり、絶対的位置を含む3次元人体運動を予測する際、従来の手法の限界を是正すること。
• 特に長時間のシーケンスにおいて、リアリスティックな運動パターンを捉えることが難しいL2損失の欠陥を克服すること。
• トレーニング時および推論時において、行動ラベルを必要とせずに運動予測を可能にすること。
• 過去の観測データにおける遮蔽、ノイズ、欠損フレームに対して、モデルのロバスト性を向上させること。
• 評価に適した人体運動の分布をよりよく捉える指標の開発

提案手法

• 3次元スケルトンシーケンスを空間的・時間的テンソルとして表現し、運動予測を空間的・時間的インpainting問題として定式化する。
• 将来のポーズと絶対的位置を予測するための、時間的整合性を持つ完全畳み込み型ジェネレータを設計する。
• 人間らしい運動とリアリスティックな周波数分布を強制するために、3つの独立したディスクラミネータを採用する。
• 過去フレームの再構成にはL2損失を適用するが、将来の予測はすべて敵対的訓練によってガイドする。
• 生成されたシーケンスと真値シーケンスのスペクトル分布を比較することで、運動のリアリズムを評価する2つの周波数ベースの指標を導入する。
• 敵対的損失と周波数ベースの指標を用いて、将来フレームの監視にL2損失に依存しないエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、空間的な絶対位置を含む2秒以上の長期的3次元人体運動シーケンスを、リアリスティックに生成できるか？
• RQ2 L2損失を周波数ベースの指標に置き換えることで、長期予測におけるよりリアリスティックな運動パターンが得られるか？
• RQ3 行動ラベルの明示的監視なしに、未学習の行動に一般化できるか？
• RQ4 過去のシーケンスにおける遮蔽、欠損フレーム、ノイズの影響に対して、モデルはどの程度ロバストか？
• RQ5 提案された周波数ベースの指標は、L2損失に比べて運動のリアリズムをよりよく評価できるか？

主な発見

• STMI-GANモデルは、Human3.6Mデータセットにおいて最先端の性能を達成しており、長期運動予測において従来手法を顕著に上回っている。
• 人間評価の結果、生成された絶対的位置付き運動シーケンスの38.39％が人間のレーティングで「本物」と分類され、高いリアリズムを示している。
• 関節遮蔽時におけるL2誤差は108.99、欠損フレーム時では102.03であり、NoGAN や線形補間などのベースラインを上回っている。
• 80％の遮蔽に対してもモデルはロバストであり、構造的またはランダムな関節およびフレーム損失に対しても妥当な運動を生成している。
• 周波数ベースの指標は運動の意味的特徴を的確に捉えており、L2学習モデルで見られる静的平均ポーズへの傾向を軽減している。
• アブレーションスタディにより、3つの独立したディスクラミネータが人間らしい運動と時間的整合性のある運動を生成するために不可欠であることが確認された。