[論文レビュー] Motion Capture Dataset for Practical Use of AI-based Motion Editing and Stylization

Makito Kobayashi, Chen-Chieh Liao+3 more|arXiv (Cornell University)|Jun 15, 2023

Human Motion and Animation被引用数 4

ひとこと要約

本論文では、プロの俳優と高精細な光学モーショングラフィクスキャッピングを用いて、アクティブ、疲労、感情表現など多様なモーショングラフィクススタイルを含む大規模で産業用途に適したモーショングラフィクスデータセットを紹介する。このデータセットは産業標準のスケルタル階層に基づいて構築されており、最先端のニューラルネットワークを用いた効果的なモーショングラフィクススタイル転送および補間を可能にし、Unreal Engine 5における複数の3Dキャラクターやモーショングラフィクス編集タスクで妥当性が確認された。

ABSTRACT

In this work, we proposed a new style-diverse dataset for the domain of motion style transfer. The motion dataset uses an industrial-standard human bone structure and thus is industry-ready to be plugged into 3D characters for many projects. We claim the challenges in motion style transfer and encourage future work in this domain by releasing the proposed motion dataset both to the public and the market. We conduct a comprehensive study on motion style transfer in the experiment using the state-of-the-art method, and the results show the proposed dataset's validity for the motion style transfer task.

研究の動機と目的

• AIベースのモーショングラフィクス編集に適した、多様な感情的・個性ベースのスタイルを有する高品質なモーショングラフィクスデータセットの不足を是正すること。
• 3Dアニメーションおよびゲーム開発のパイプラインへの実用的で即座に利用可能なモーショングラフィクスデータの統合を可能にすること。
• 最先端のニューラルネットワーク手法を用いて、本データセットのモーショングラフィクススタイル転送および補間の適性を検証すること。
• 研究用途向けに公開するデータセットと、産業用途向けの商用水準のエモート（感情表現）焦点型データセットをリリースすること。
• 標準化された高精細なデータセットを基盤として、ユニバーサルなモーショングラフィクススタイル転送モデルの開発を支援すること。

提案手法

• 専門俳優が多様な動きを実演する形で、高精度な光学モーショングラフィクスキャッピングシステムを用いてモーショングラフィクスデータを収集した。
• 3Dアニメーションツールへの直接的な互換性を確保するため、産業標準の人体スケルタル階層（例：BVHに類似した構造）を用いてモーショングラフィクスデータを構造化した。
• コンテンツモーショングラフィクス（例：歩行、走行）とスタイルモーショングラフィクス（例：アクティブ、フェミニン、若々しい）を収集し、異なるモーショングラフィクスタイプ間でのスタイル転送を可能にした。
• ニューラルネットワークベースのモーショングラフィクス・トランスレーションモデルを適用し、スタイル転送、補間、パズル形式のモーショングラフィクスブレンドを実行した。
• Unreal Engine 5を用いて、Mirai Komachi、Unreal Mannequin、Mixamoなどの複数の3Dキャラクターモデルに対してモーショングラフィクスリターゲティングおよびスタイライゼーションを実証した。
• 実世界の応用においても高精細性と利用可能性を確保するため、生のモーショングラフィクスデータをクリーニングおよび前処理した。

Figure 1 . Motions including in our dataset applied to Mirai Komachi character model.

実験結果

リサーチクエスチョン

• RQ1 大規模でスタイルに多様性を持つモーショングラフィクスデータセットは、ニューラルネットワークベースのモーショングラフィクススタイル転送の性能と一般化能力を向上させ得るか？
• RQ2 モーショングラフィクススタイル転送において、エネルギーレベルや感情表現といったスタイル的属性を転送する際、コンテンツはどの程度保持されるか？
• RQ3 本プロポーザルされたデータセットは、異なる身体部位においてモーショングラフィクス補間および新しいスタイルブレンドにどの程度適しているか？
• RQ4 本データセットは、再トレーニングや大規模なリターゲティングなしに、多様な3Dキャラクターモデルで効果的に使用可能か？
• RQ5 本データセットを基盤として、ユニバーサルなモーショングラフィクススタイル転送モデルを構築することは可能か？

主な発見

• 提案されたモーショングラフィクスデータセットは、エネルギーレベルや感情表現といったターゲットスタイルの属性を正確に反映しつつ、コンテンツを保持する高品質なモーショングラフィクススタイル転送を実現した。
• アクティブ–ノーマル–疲労といった複数のスタイル間でのモーショングラフィクス補間により、元のデータセットに存在しなかった滑らかで現実的な中間モーショングラフィクスが得られた。
• パズル形式のモーショングラフィクスブレンド（異なる身体部位に異なるスタイルを適用）により、妥当で表現力豊かなハイブリッドモーショングラフィクスが生成された。
• 3Dアニメーションパイプラインとの高い互換性が確認され、Unreal Engine 5におけるMirai Komachi、Unreal Mannequin、Mixamoキャラクターへの成功したモーショングラフィクスリターゲティングが実証された。
• 産業標準のスケルタル構造を採用しているため、追加の前処理なしに商業的および研究的応用に直接利用可能である。
• 最先端のスタイル転送モデルを用いた包括的な実験により、本データセットの妥当性およびモーショングラフィクススタイライゼーションタスクへの適性が確認された。

(a) walk