[論文レビュー] Auto-Conditioned Recurrent Networks for Extended Complex Human Motion Synthesis

Zimo Li, Yi Zhou+4 more|arXiv (Cornell University)|Jul 17, 2017

Human Pose and Action Recognition被引用数 150

ひとこと要約

論文は長く多様で複雑な人間の動作合成のための自動条件付きRNN（acRNN）を提案し、誤差蓄積を緩和して数百秒の動作を生成する。

ABSTRACT

We present a real-time method for synthesizing highly complex human motions using a novel training regime we call the auto-conditioned Recurrent Neural Network (acRNN). Recently, researchers have attempted to synthesize new motion by using autoregressive techniques, but existing methods tend to freeze or diverge after a couple of seconds due to an accumulation of errors that are fed back into the network. Furthermore, such methods have only been shown to be reliable for relatively simple human motions, such as walking or running. In contrast, our approach can synthesize arbitrary motions with highly complex styles, including dances or martial arts in addition to locomotion. The acRNN is able to accomplish this by explicitly accommodating for autoregressive noise accumulation during training. Our work is the first to our knowledge that demonstrates the ability to generate over 18,000 continuous frames (300 seconds) of new complex human motion w.r.t. different styles.

研究の動機と目的

• 歩行/走行を超える高度に複雑な人間の動作の生成を動機づけ、実現する。
• 自己回帰的動作生成における誤差蓄積に対処する。
• 複数のスタイルにまたがる長期ホライズンの合成を実証する（数百秒）。

提案手法

• ネットワークを自分の過去の出力を入力として用いることで訓練されるacRNNを導入する（オートコンディショニング）。
• 条件長さ u と生成長さ v を用い、訓練時には ground-truth フレームとともに v 個の予測フレームを入力として供給する。
• 運動データを相対的な関節変位（ルートモーションと関節位置）として表現し、一定の周期性を捉える。
• 三つの全結合層（メモリサイズ 1024）を持つ acLSTM を訓練し、ADAM 最適化で長さ 100 のシーケンスを 500k 反復で訓練。
• 基準法として LSTM、ERD、seq2seq、スケジュールドサンプリングを用い、CMUモーションキャプチャのサブセットでユークリッド損失を評価。

実験結果

リサーチクエスチョン

• RQ1 acRNN は、ダンスや武術などスタイルを変えた長く現実的な動きを、フリーズすることなく生成できるか。
• RQ2 自己条件付けは、標準的なRNN訓練と比較して長距離の動作の安定性と現実感にどのような影響を与えるか。
• RQ3 短期予測誤差と長期の動作連続性に対する異なる条件長さのトレードオフは何か。
• RQ4 acRNN は異なる動きのスタイル間で、既存のベースラインと比較してどの程度性能を示すか。

主な発見

• acLSTM は数百秒（例: 結果に 300 秒以上）のフリーズなしの動作を生成する。
• acLSTM は複数のスタイル（特にインド舞踊と武術）で、短期および中期の予測誤差が複数のベースラインより低い。
• Vanilla LSTM は約60フレーム後にフリーズする傾向がある一方、acLSTM は継続して変化する動作を維持する。
• ERD および seq2seq と比較して、acLSTM はより長く妥当な動作を提供する。とはいえ、全ての手法は人間のモーションの確率的な性質により非常に長い horizon で誤差が増加する。
• 異なるスタイルの訓練データを混合すると、両スタイルの特性を取り入れたハイブリッド動作が得られる。
• モーション列は約60 FPS で生成可能で、50秒以上の合成出力の例を示す。