[論文レビュー] Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic

Yongyi Tang, Lin Ma+2 more|arXiv (Cornell University)|May 7, 2018

Human Pose and Action Recognition参考文献 4被引用数 41

ひとこと要約

本論文は、モーションコンテキストを考慮した予測フレームワークを提案し、修正ハイウェイユニット（MHU）とグラム行列損失を用いて長期の3D人間モーション予測を改善し、活動ラベルに条件付けたモーション転送を可能にする。

ABSTRACT

Human motion prediction aims at generating future frames of human motion based on an observed sequence of skeletons. Recent methods employ the latest hidden states of a recurrent neural network (RNN) to encode the historical skeletons, which can only address short-term prediction. In this work, we propose a motion context modeling by summarizing the historical human motion with respect to the current prediction. A modified highway unit (MHU) is proposed for efficiently eliminating motionless joints and estimating next pose given the motion context. Furthermore, we enhance the motion dynamic by minimizing the gram matrix loss for long-term motion prediction. Experimental results show that the proposed model can promisingly forecast the human future movements, which yields superior performances over related state-of-the-art approaches. Moreover, specifying the motion context with the activity labels enables our model to perform human motion transfer.

研究の動機と目的

• 短期的な精度を超える正確な長期的な人間モーション予測を動機づける。
• 現在の予測に関して歴史的モーションを要約するモーションコンテキストをモデル化する。
• モーションを保持する関節を選択的に更新する修正ハイウェイユニットを開発する。
• 時空間的モーションダイナミクスを促進するグラム行列損失を導入する。
• 活動ラベルに条件付けしてモーション転送を実証する。

提案手法

• 歴史的スケルトンをスケルトン埋め込み層を介して意味空間に埋め込む。
• 前回予測フレームを基準に過去の埋め込みを時系列的に注意機構で参照してモーションコンテキストを計算する。
• モーションコンテキストと現在の入力に基づいてモーションを保持する関節の更新をゲートする修正ハイウェイユニットを用いて将来のスケルトンを予測する。
• 時系列ダイナミクスと関節間相関を捉えるグラム行列損失で予測を最適化する。
• 任意で、モーションコンテキストを調整するために活動ラベルを供給してモーション転送を行う。

実験結果

リサーチクエスチョン

• RQ1 全履歴シーケンスからモーションコンテキストをモデル化することで、最後の隠れ状態のみを使用する場合より長期予測が改善されるか？
• RQ2 修正ハイウェイユニットは、予測に有益な関節に焦点を当てるために、動きの少ない関節を効果的にフィルタリングするか？
• RQ3 標準的なMSE損失よりも、グラム行列ベースの目的関数は時系列ダイナミクスと空間的相関をよりよく捉えるか？
• RQ4 予測中に活動ラベルを条件付けすることでモデルはモーション転送をサポートできるか？

主な発見

• 提案手法はH3.6mデータセットで長期予測において最先端の手法を上回る。
• モーションコンテキストモデリングは、最後の隠れ状態のみを使用する場合より長期予測をより堅牢にする。
• グラム行列損失は時系列ダイナミクスを強化し平均ポーズの収束を低減し、長期結果を改善する。
• 修正ハイウェイユニットは更新を効果的にゲートし、動的に動く関節を強調する。
• 活動ラベルを条件付けすることでモーション転送をサポートし、活動間の滑らかな遷移を可能にする。