[論文レビュー] FLAME: Free-form Language-based Motion Synthesis & Editing

Ji‐Hoon Kim, Jiseob Kim+1 more|arXiv (Cornell University)|Sep 1, 2022

Human Motion and Animation被引用数 4

ひとこと要約

FLAME は、自由形式のテキストから動きを生成・編集するための拡散モデルであり、可変長の動きシーケンスを処理し、事前学習済み言語モデルとのクロスアテンションを可能にする新しいトランスフォーマー・デコーダー・アーキテクチャを活用している。HumanML3D、BABEL、KIT データセットにおいて最先端の性能を達成し、微調整なしに高精細で多様な動きの生成・編集を可能にしている。

ABSTRACT

Text-based motion generation models are drawing a surge of interest for their potential for automating the motion-making process in the game, animation, or robot industries. In this paper, we propose a diffusion-based motion synthesis and editing model named FLAME. Inspired by the recent successes in diffusion models, we integrate diffusion-based generative models into the motion domain. FLAME can generate high-fidelity motions well aligned with the given text. Also, it can edit the parts of the motion, both frame-wise and joint-wise, without any fine-tuning. FLAME involves a new transformer-based architecture we devise to better handle motion data, which is found to be crucial to manage variable-length motions and well attend to free-form text. In experiments, we show that FLAME achieves state-of-the-art generation performances on three text-motion datasets: HumanML3D, BABEL, and KIT. We also demonstrate that editing capability of FLAME can be extended to other tasks such as motion prediction or motion in-betweening, which have been previously covered by dedicated models.

研究の動機と目的

• 自由形式の言語記述をサポートする統合的なフレームワークを構築し、テキストベースの3D動き合成と編集を実現すること。
• 単純なアクションラベルに依存する従来のモデルの限界を是正し、多様性と制御性を向上させること。
• 微調整なしに、編集、予測、中間生成といった柔軟な条件付き生成を可能にすること。
• 本質的に時空間的かつ可変長である動きドメインに拡散モデルを適応させること。
• 分類器フリー・ガイドランスと特化したトランスフォーマー・アーキテクチャを用いて、生成の品質と多様性を向上させること。

提案手法

• 1,000 ステップのコスイン・ベータスケジューリングを用い、等方的ガウスノイズから動きをノイズ除去するように学習する、動きデータ向けの拡散ベースの生成フレームワークを提案。
• 自己アテンション、クロスアテンション、および動き長さトークンを備えたトランスフォーマー・デコーダー型アーキテクチャを導入し、可変長シーケンスをモデル化し、自由形式のテキストに注目できるようにする。
• テキストプロンプトをエンコードするために事前学習済み言語モデル（RoBERTa）を用い、CLSトークンおよび最初の20トークンをクロスアテンション経由で動き生成をガイドする。
• 推論時に分類器フリー・ガイドランスを採用し、25% のテキスト入力を空文字列に置き換えることで、生成品質と整合性の制御を可能にする。
• 出力シーケンス長を明示的に条件付けるために動き長さトークンを導入し、生成の一貫性を向上させる。
• 表現の安定化と性能向上を図るため、訓練中に言語モデルを固定し、アブレーションスタディで検証した。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルは、自由形式のテキスト記述と整合性の高い高精細で多様な3D動きを生成できるか？
• RQ2 同じモデルが、微調整なしにテキストプロンプトのみで動き合成と編集の両方を実行できるか？
• RQ3 動き長さトークンとクロスアテンションを備えた提案されたトランスフォーマー・アーキテクチャは、生成品質と制御性をどのように向上させるか？
• RQ4 編集を用いることで、予測や中間生成といった他の動きタスクにも一般化可能か？
• RQ5 拡散ベースの動き生成において、サンプリング速度と動き品質のトレードオフはどのようなものか？

主な発見

• FLAME は、FID、FVD、R-precision といった複数の指標において、HumanML3D、BABEL、KIT データセットで最先端の性能を達成した。
• KIT データセットでは、TEMOS が使用した同じパイプラインで評価した際にも、従来手法を上回り、優れた一般化性能を示した。
• 1プロンプトあたり10サンプルの関節分散を測定したところ、強いマルチモダリティと表現力が示された。
• 生成された動きは、3回の試行平均で高い mCLIP スコアを達成し、テキストプロンプトとの強い整合性を確認した。
• アブレーションスタディの結果、言語モデルを固定し、全出力に対してクロスアテンションを適用することで、性能が顕著に向上した。
• 1,000 ステップでのサンプリングが30秒以上かかるが、ステップ数を50～100に削減しても品質にほとんど損なわれず、高速な推論が可能になった。