[論文レビュー] Generative Tweening: Long-term Inbetweening of 3D Human Motions

Yi Zhou, Jingwan Lu+4 more|arXiv (Cornell University)|May 18, 2020

Human Motion and Animation参考文献 53被引用数 20

ひとこと要約

本論文は、2段階のアプローチを用い、まず局所的関節回転を予測し、その後でグローバルなキャラクターの軌道を推定することで、3次元人体運動の長期的インバーティングを実現する条件付き生成対抗ネットワークを提案する。生物学的制約は、固定された不連続性のない順序と範囲を用いたオイラー角表現による範囲制約付きフォワードキネマティクス層で強制される。本手法は、スパースなキーフレームからの多様で現実的な運動生成を可能にし、スタイル制御のための新規な「モーションドナ」概念を用いることで、高ユーザーコントロールが可能なリアルタイムの合成を実現し、複雑で自然な運動を生成する。

ABSTRACT

The ability to generate complex and realistic human body animations at scale, while following specific artistic constraints, has been a fundamental goal for the game and animation industry for decades. Popular techniques include key-framing, physics-based simulation, and database methods via motion graphs. Recently, motion generators based on deep learning have been introduced. Although these learning models can automatically generate highly intricate stylized motions of arbitrary length, they still lack user control. To this end, we introduce the problem of long-term inbetweening, which involves automatically synthesizing complex motions over a long time interval given very sparse keyframes by users. We identify a number of challenges related to this problem, including maintaining biomechanical and keyframe constraints, preserving natural motions, and designing the entire motion sequence holistically while considering all constraints. We introduce a biomechanically constrained generative adversarial network that performs long-term inbetweening of human motions, conditioned on keyframe constraints. This network uses a novel two-stage approach where it first predicts local motion in the form of joint angles, and then predicts global motion, i.e. the global path that the character follows. Since there are typically a number of possible motions that could satisfy the given user constraints, we also enable our network to generate a variety of outputs with a scheme that we call Motion DNA. This approach allows the user to manipulate and influence the output content by feeding seed motions (DNA) to the network. Trained with 79 classes of captured motion data, our network performs robustly on a variety of highly complex motion styles.

研究の動機と目的

• 非常にスパースなユーザー指定キーフレームから長期間にわたる複雑で現実的な3次元人体運動を生成する課題に対処すること。
• 延長された運動シーケンスにわたり、生物学的妥当性とキーフレームの正確性を維持すること。
• 生成器をシードモーションで条件づける新規な「モーションドナ」メカニズムにより、運動スタイルに対するユーザーコントロールを可能にすること。
• より高い制作の柔軟性を実現するため、部分的なボディポーズや2Dスケッチを含む柔軟な入力フォーマットをサポートすること。
• インタラクティブなアニメーションワークフローに適したリアルタイムまたはニアリアルタイムの運動合成を達成すること。

提案手法

• 2段階の条件付きGANアーキテクチャ：まず局所的関節回転を生成し、その後でそれらの回転に基づいてグローバルな運動軌道を予測する。
• オイラー角表現を用い、固定された不連続性のない順序と範囲を用いて関節回転の生物学的制限を強制する範囲制約付きフォワードキネマティクス（RC-FK）層の統合。
• 隣接するペア間の補間ではなく、すべてのキーフレームを同時に考慮する包括的かつ文脈に配慮した生成戦略の採用。
• 「モーションドナ」の導入——同じキーフレーム制約下で異なるシードモーションパターンを入力することで、ネットワークが複数の多様な運動シーケンスを生成可能にする潜在的条件づけ機構。
• 部分的ボディ入力（例：ルートのみ、半身、または2D投影）をサポートするための入力表現の適応。トレーニングおよび推論時にマスクされた関節入力を使用。
• CMU Mocapデータセットからの79種類のキャプチャドモーショングラフを用いてトレーニングし、多様なモーションスタイルに一般化する。

実験結果

リサーチクエスチョン

• RQ1 ディープジェネレーティブモデルは、非常にスパースなキーフレームからどのように長期間にわたる自然で生物学的に妥当な3次元人体運動を生成できるか？
• RQ2 モデルは、延長されたシーケンスにわたり、キーフレームのポーズ正確性を保ちながらも、グローバルな運動の一貫性を維持できるか？
• RQ3 同じキーフレーム制約下で、複数の明確に異なる、妥当な運動シーケンスをモデルが生成できるか？
• RQ4 2Dスケッチやルートのみの位置など、部分的または低精度の入力にも一般化可能か？
• RQ5 インタラクティブなアニメーションおよび反復的デザインに適したリアルタイム性能を達成できるか？

主な発見

• 本モデルは、わずか4つのスパースキーフレームからも、自然なポーズと意味のある運動変異を示す高品質で多様な3次元人体運動シーケンスを生成可能である。
• 2段階アーキテクチャ（まず局所運動、次にグローバルパス予測）により、生物学的妥当性を保ちながらも正確な長期運動合成が実現された。
• RC-FK層は、オイラー角の範囲と順序を制限することで、不自然な関節回転を効果的に防止し、運動空間内の不連続性を低減した。
• モーションドナメカニズムにより、異なるシードモーションで条件づけることで、ユーザーが出力運動のスタイルとバリエーションに影響を与えることができ、同じキーフレームセットから複数の妥当な結果を生成可能となった。
• 本システムは柔軟な入力フォーマットをサポートしており、部分的ボディポーズや2Dスケッチを含むが、非均一または歪んだ2D入力に対しても妥当な3次元運動を合成可能である。
• 本手法はリアルタイム性能を達成し、1分間の運動を0.5秒未塔で生成可能であり、短いシーケンスではリアルタイムの更新が可能である。