[論文レビュー] Example-based Motion Synthesis via Generative Motion Matching

Weiyu Li, Xuelin Chen+3 more|arXiv (Cornell University)|Jun 1, 2023

Human Motion and Animation被引用数 1

ひとこと要約

この論文では、訓練を必要としない生成的モーショングレーティブフレームワークであるGenMMを提案する。GenMMは、マルチステージのモーショングレーティブパイプライン内において、双方向の視覚的類似性を生成コスト関数として用いる。単一または少数の例シーケンスから再訓練を伴わずに多様で高品質なモーション変種を抽出することで、複雑なスケルトンに対しても1秒未塔でリアルで整合性のあるモーションを生成可能であり、キーフレームガイドド合成、モーション補完、無限ループなど、さまざまなアニメーションタスクを可能にする。

ABSTRACT

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/

研究の動機と目的

• . 訓練を必要としないモーショングレーティブ手法を開発し、最小限の例シーケンスから多様で高品質なモーションを生成すること。
• . 深層学習ベースの手法の限界を克服すること。具体的には、長時間の訓練、視覚的アーチファクト、複雑なスケルトンへのスケーラビリティの低さ。
• . 高品質な結果をもたらすことで知られるモーショングレーティブ技術を、限定的な例から多様な変種を抽出可能な生成フレームワークへと拡張すること。
• . キーフレームガイドド生成、モーション補完、無限ループなど、従来のモーショングレーティブでは難しいとされる新しいアニメーションタスクを可能にすること。

提案手法

• . 雙方向の視覚的類似性をコスト関数として用いる生成的モーショングレーティブモジュールを導入し、モーション合成をガイドする。
• . 入力例から得られるエグジンプレーションモーションパッチを用いて、ランダムなモーション推測を段階的に改善するマルチステージの精練プロセスを採用する。
• . 合成シーケンスと例シーケンス間のモーションパッチ分布の比較に基づく生成コストを定義し、一貫性を確保するとともにアーチファクトの発生を回避する。
• . スケルトンに配慮したコンponentを用いて、構造的整合性を維持するとともに、低周期性の入力に対してもスケルトン軸に沿った変化を可能にする。
• . すべての段階で訓練を一切行わず、入力例から抽出されたモーションデータベースにおける効率的な類似度検索とパッチマッチングに依存する。
• . 軽量なWebインタフェースとBlenderアドオンを統合することで、生産パイプラインにスムーズに統合され、リアルタイムでのアーティストとのインタラクションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 . モーショングレーティブを、オフライン学習を要しない生成フレームワークへと適応させることは可能か？ その際、最小限の例シーケンスから多様で高品質なモーションを生成できるか？
• RQ2 . モーションパッチ分布間の双方向類似性を生成コスト関数として用いることで、合成モーションの忠実性と整合性をどのように確保できるか？
• RQ3 . 提案手法は、キーフレームガイドド生成、モーション補完、無限ループなど、複雑なアニメーションタスクを少数の例シーケンスのみで実現できるか？
• RQ4 . 深層学習モデルがしばしば失敗するような大規模で複雑なスケルタル構造において、この手法はどのように性能を発揮するか？
• RQ5 . モーションマッチングとニューラル生成モデルの両者を比較した場合、モーション品質と生成の多様性のトレードオフはどのように変化するか？

主な発見

• . GenMMは、複雑なスケルトンに対しても、訓練を一切行わず、1秒未塔の短時間で高品質で多様なモーションシーケンスを生成可能である。
• . 手動で指定されたポーズに従うキーフレームガイドドモーション合成が成功しており、出力シーケンスは整合的かつ自然な動きを保っている。
• . モーション補完は、欠落しているモーションセグメント（例：下半身のモーション）をエグジンプレーションパッチで埋めることで実現され、妥当で一貫性のある結果が得られている。
• . 特定のポーズで開始・終了する滑らかで目立たない不連続性のない無限ループアニメーションを生成可能である。
• . WebインタフェースとBlenderアドオンを介したリアルタイム相互作用をサポートしており、一般消費者用ハードウェアでも実用的であることが実証された。
• . GANimatorなどのニューラルモデルに比べ生成の多様性は低いが、ジェイタリングや過剰に滑らかすぎる現象といった視覚的アーチファクトを回避し、モーション品質を最優先にしている。