[論文レビュー] Dynamic Future Net: Diversified Human Motion Generation

Wenheng Chen, He Wang+3 more|arXiv (Cornell University)|Aug 25, 2020

Human Pose and Action Recognition参考文献 38被引用数 4

ひとこと要約

本論文は、潜在空間内での双方向状態表現（過去および未来）を活用することで、短時間および長時間の運動の確率的特性を明示的にモデル化する、動的フォーチュンネットワーク（DFN）を提案する。最小限の運動データ（7秒未塔）で訓練されたDFNは、任意の期間の多様で高品質かつ時間的に整合性のある人間の運動シーケンスを生成し、分布ベースの損失関数により、先行手法を上回る多様性と頑健性を実現する。

ABSTRACT

Human motion modelling is crucial in many areas such as computer graphics, vision and virtual reality. Acquiring high-quality skeletal motions is difficult due to the need for specialized equipment and laborious manual post-posting, which necessitates maximizing the use of existing data to synthesize new data. However, it is a challenge due to the intrinsic motion stochasticity of human motion dynamics, manifested in the short and long terms. In the short term, there is strong randomness within a couple frames, e.g. one frame followed by multiple possible frames leading to different motion styles; while in the long term, there are non-deterministic action transitions. In this paper, we present Dynamic Future Net, a new deep learning model where we explicitly focuses on the aforementioned motion stochasticity by constructing a generative model with non-trivial modelling capacity in temporal stochasticity. Given limited amounts of data, our model can generate a large number of high-quality motions with arbitrary duration, and visually-convincing variations in both space and time. We evaluate our model on a wide range of motions and compare it with the state-of-the-art methods. Both qualitative and quantitative results show the superiority of our method, for its robustness, versatility and high-quality.

研究の動機と目的

• 限られた学習データからの多様で高品質な人間の運動シーケンスを生成する課題に対処すること。
• 人間の運動ダイナミクスにおける短時間（フレーム単位）および長時間（アクション単位）の確率的特性を明示的にモデル化すること。
• 生成されたシーケンスの多様性を高めつつも、運動の質を維持する生成モデルを開発すること。
• 再訓練なしに混合または単一の運動タイプで学習可能であり、汎用性を高めること。
• 点推定に代えて分布類似度損失を導入し、運動のランダムネスをよりよくモデル化すること。

提案手法

• DFNは、運動シーケンスを低次元の潜在空間に埋め込むために変分オートエンコーダーを採用し、効率的なダイナミクスモデリングを可能にする。
• 双方向再帰ネットワークを用いて、過去状態と未来状態を同時にモデル化し、短時間のポーズ遷移と長時間のアクション変化の両方を捉える。
• 現在の状態を過去と未来の文脈の両方で明示的に条件づけることで、確率的遷移の動的モデリングを実現する。
• 予測されたポーズ分布と真値のポーズ分布を比較する、新規の分布損失関数を導入し、多様性の向上を図る。
• アーキテクチャは混合運動タイプでのエンドツーエンド学習をサポートし、多様なデータからマルチモーダルダイナミクス学習を可能にする。
• 推論では、潜在コードと未来の文脈に基づく条件付きサンプリング戦略を用い、任意長の運動生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、人間の運動ダイナミクスにおける短時間および長時間の確率的特性を効果的に捉えることができるか？
• RQ2 極めて少ないデータ（例：15秒未塔）で学習した場合、モデルは多様で高品質な運動シーケンスをどれほど効果的に生成できるか？
• RQ3 再訓練なしに、1つのモデルが複数の運動タイプ（例：歩行、走行、ボクシング）を一般化して扱えるか？
• RQ4 未来の文脈をモデル化することで、自己回帰的または単方向モデルと比較して、運動の多様性と時間的整合性が向上するか？
• RQ5 点推定再構成損失と比較して、分布損失関数はどれほど運動の多様性を向上させるか？

主な発見

• DFNは、7秒という極めて少ない運動データで学習した場合でも、任意の期間の多様で視覚的に説得力のある運動シーケンスを生成することができる。
• モデルは高い運動品質と時間的整合性を維持しており、自然なポーズ変動と妥当なアクション遷移を示す。
• 混合運動タイプで学習した場合、DFNはマルチモーダルダイナミクスを捉え、たとえば「歩行→走行」や「ダンス」への変換といった、1つのプレフィックスから多様な運動スタイルを生成する。
• 分布損失関数により、点推定再構成と比較して顕著に多様性の高い運動出力が得られ、学習データとの平均距離分布マッチングによる検証で裏付けられた。
• 生成された運動は、ポーズ分布において学習データと強い統計的類似性を示し、時間ステップごとの平均距離分布が実データと密接に一致する。
• 学習データが著しく削減されても（最低7秒まで）、DFNは安定的かつ妥当な運動生成を維持しており、データ不足に対する頑健性を示している。