[論文レビュー] PVRED: A Position-Velocity Recurrent Encoder-Decoder for Human Motion Prediction

Hongsong Wang, Jian Dong+2 more|arXiv (Cornell University)|Jun 15, 2019

Human Pose and Action Recognition参考文献 39被引用数 10

ひとこと要約

PVREDは、ポーズ速度、時系列的位置埋め込み、および学習可能なクォータニオン変換層を統合したエンドツーエンドのポジション・ボリューム再帰的エンコーダ・デコーダネットワークを提案する。速度に配慮したRNNとクォータニオンベースのポーズ表現を用いて運動ダイナミクスをモデル化することで、短時間および長時間の運動予測において最先端の性能を達成し、4秒先までの自然で意味のあるポーズを生成する。

ABSTRACT

Human motion prediction, which aims to predict future human poses given past poses, has recently seen increased interest. Many recent approaches are based on Recurrent Neural Networks (RNN) which model human poses with exponential maps. These approaches neglect the pose velocity as well as temporal relation of different poses, and tend to converge to the mean pose or fail to generate natural-looking poses. We therefore propose a novel Position-Velocity Recurrent Encoder-Decoder (PVRED) for human motion prediction, which makes full use of pose velocities and temporal positional information. A temporal position embedding method is presented and a Position-Velocity RNN (PVRNN) is proposed. We also emphasize the benefits of quaternion parameterization of poses and design a novel trainable Quaternion Transformation (QT) layer, which is combined with a robust loss function during training. We provide quantitative results for both short-term prediction in the future 0.5 seconds and long-term prediction in the future 0.5 to 1 seconds. Experiments on several benchmarks show that our approach considerably outperforms the state-of-the-art methods. In addition, qualitative visualizations in the future 4 seconds show that our approach could predict future human-like and meaningful poses in very long time horizons. Code is publicly available on GitHub: extcolor{red}{https://github.com/hongsong-wang/PVRNN}.

研究の動機と目的

• RNNベースの運動予測モデルが平均ポーズに収束するか、現実的な運動を生成できないという限界に対処する。
• 従来の手法に見られる時間的位置認識の欠如と速度モデリングの不足が、長期間予測の品質を低下させることを克服する。
• 特徴的な特徴として、特徴の特徴を避けるためにクォータニオンパラメータライゼーションを活用するエンドツーエンドで学習可能な新規アーキテクチャを導入する。
• サイン・コサイン周波数埋め込みを用いた相対フレーム位置の符号化により、一般化性能と時間的整合性を向上させる。
• 短時間（0.5秒）および長時間（最大1秒）の予測ベンチマークで優れた性能を達成し、定性的な結果は4秒まで延長可能である。

提案手法

• 過去のポーズ、ポーズ速度、および学習可能な時系列位置埋め込みを入力として受け取るポジション・ボリュームRNN（PVRNN）を導入し、運動ダイナミクスをモデル化する。
• 異なる周波数の正弦関数と余弦関数を用いた新規な時系列位置埋め込みを実装し、フレームの相対的な時間的位置を符号化する。
• エンドツーエンド学習可能なクォータニオンベースのポーズ表現を可能にする学習可能なクォータニオン変換（QT）層を設計する。事前処理・後処理ステップを回避する。
• 訓練の安定化と勾配の流れの改善を目的に、エンコーダ・デコーダフレームワークに残差接続を採用する。
• 予測された関節位置のL2損失と速度ベースの監視を組み合わせた頑健な損失関数を用いてモデルを訓練する。これにより運動の連続性が向上する。
• ポーズ予測を速度予測とポーズ統合に分離し、予測された速度を時間的に累積することで将来のポーズを生成する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの運動予測フレームワークにポーズ速度を組み込むことで、予測精度が著しく向上し、平均ポーズへの収束が軽減されるか？
• RQ2 学習可能な時系列位置埋め込みを追加することで、長期間のシーケンスにおいて時系列的に近いフレームと遠いフレームを区別する能力が向上するか？
• RQ3 特徴の特徴を減らす点で、クォータニオンパラメータライゼーションが指数写像表現を上回る程度はどの程度か？
• RQ4 速度モデリング、位置符号化、クォータニオン学習の組み合わせが、400msを超える長期間の運動予測に与える影響は？
• RQ5 提案されたアーキテクチャは、モード崩壊を回避して、4秒までの延長予測でも自然で意味のある人間らしい運動シーケンスを生成できるか？

主な発見

• PVREDはHuman3.6Mで最先端の性能を達成し、短時間予測において『スモーキング』行動で80msで0.24 mmの誤差、400msで0.93 mmの誤差を記録した。
• 長期間予測（560–1000ms）において、誤差を1.29 mm（スモーキング）および1.77 mm（ディスカッション）にまで低減し、1000msで最大0.21 mmの優位性を示した。
• アブレーションスタディでは、ポーズ速度を除去すると、『ディスカッション』で80msで0.08 mm、1000msで0.21 mmの誤差増加が確認され、速度の重要性が裏付けられた。
• 位置埋め込みは『スモーキング』で560msで最大0.06 mmの誤差低減をもたらし、周期的でない行動でより顕著な効果を示した。これは時間的区別能力の向上を示している。
• クォータニオン変換層は『スモーキング』で80msで0.06 mm、1000msで0.22 mmの誤差低減を実現し、指数写像よりもクォータニオンパラメータライゼーションの優位性を裏付けた。
• 定性的な結果では、PVREDは4秒先までの自然で整合性のある人間らしい運動シーケンスを生成し、従来モデルに見られるモード崩壊を回避した。