[論文レビュー] Executing your Commands via Motion Diffusion in Latent Space

Xin Chen, Biao Jiang+6 more|arXiv (Cornell University)|Dec 8, 2022

Human Pose and Action Recognition被引用数 14

ひとこと要約

本稿では、変分自己オートエンコーダー（VAE）によって学習された低次元の潜在空間で拡散モデルを適用することにより、高品質で多様な人間の動きシーケンスを生成する、モーション潜在ベースの拡散（MLD）という手法を提案する。生の動きシーケンスではなくモーション潜在空間で動作させることで、従来の生データ上の拡散モデルと比較して、2桁の速度向上を達成しつつ、最先端の性能を実現した。

ABSTRACT

We study a challenging task, conditional human motion generation, which produces plausible human motion sequences according to various conditional inputs, such as action classes or textual descriptors. Since human motions are highly diverse and have a property of quite different distribution from conditional modalities, such as textual descriptors in natural languages, it is hard to learn a probabilistic mapping from the desired conditional modality to the human motion sequences. Besides, the raw motion data from the motion capture system might be redundant in sequences and contain noises; directly modeling the joint distribution over the raw motion sequences and conditional modalities would need a heavy computational overhead and might result in artifacts introduced by the captured noises. To learn a better representation of the various human motion sequences, we first design a powerful Variational AutoEncoder (VAE) and arrive at a representative and low-dimensional latent code for a human motion sequence. Then, instead of using a diffusion model to establish the connections between the raw motion sequences and the conditional inputs, we perform a diffusion process on the motion latent space. Our proposed Motion Latent-based Diffusion model (MLD) could produce vivid motion sequences conforming to the given conditional inputs and substantially reduce the computational overhead in both the training and inference stages. Extensive experiments on various human motion generation tasks demonstrate that our MLD achieves significant improvements over the state-of-the-art methods among extensive human motion generation tasks, with two orders of magnitude faster than previous diffusion models on raw motion sequences.

研究の動機と目的

• 自然言語記述と人間の動きシーケンスの間のような、顕著に異なる分布を示すモodal 間の確率的マッピングを学習する課題に対処すること。
• 生の動きキャプチャデータに見られる冗長性やノイズを踏まえて、条件付き人間の動き生成における計算コストの低減を図ること。
• 生の動きシーケンスの直接モデリングを避けることで、ノイズやアーチファクトの拡大を防ぎ、生成の多様性と品質を向上させること。
• 大規模で弱いラベルが付与された動きデータセット（例：AMASS）上で事前学習されたモーションVAEを用いることで、効率的なファインチューニングとトランスファーラーニングを可能にすること。
• テキストから画像への生成で成功を収めたように、潜在空間における拡散を活用して、より高速かつ高品質な動き生成を達成することを目的とする。

提案手法

• 人間の動きシーケンスのためのコンactな代表的かつ低次元の潜在コードを学習するため、UNetに類似したスキップ接続を備えたトランスフォーマー型VAEを設計する。
• 大規模で弱いラベルが付与された動きデータセット（例：AMASS）上でモーションVAEを学習し、下流の条件付き生成の前に高情報密度の潜在空間を抽出する。
• 生の動きシーケンスではなく、学習済みのモーション潜在コードに条件付き拡散モデルを適用することで、効率的で安定した学習と推論を実現する。
• テキストまたはアクションクラスの埋め込みを条件として、クロスアテンションまたは連結を用い、潜在空間での特徴伝搬を改善するスキップ接続を導入する。
• 潜在コードにノイズスケジュールを逆方向に適用し、ランダムノイズから動きに整合性のある潜在シーケンスに復元するように、拡散モデルを学習する。
• 潜在サンプリングと拡散サンプリングをそれぞれ無条件および条件付きの動き生成に活用し、潜在次元数やモデルの深さに関するアブレーションを実施する。

Figure 1 : Our Motion Latent-based Diffusion (MLD) model can achieve high-quality and diverse motion generation given a text prompt. The darker colors indicate the later in time, and the colored words refer to the motions with same colored trajectory.

実験結果

リサーチクエスチョン

• RQ1 学習済みのモーション潜在空間における拡散モデリングは、生の動きシーケンスへの直接的な拡散と比較して、生成品質と推論速度の両面で優れているか？
• RQ2 潜在コードの次元数は、生成された動きシーケンスの多様性と忠実度にどのように影響するか？
• RQ3 拡散ノイズ除去器にスキップ接続を組み込むことで、潜在空間における動き生成品質が向上するか？
• RQ4 弱いラベルが付与されたデータ上で事前学習されたモーションVAEは、最小限のファインチューニングで効果的な下流の条件付き動き生成を可能にするか？
• RQ5 生シーケンス拡散モデルと比較して、潜在空間における拡散は、人間の動き生成においてどの程度計算コストを低減するか？

主な発見

• MLDは、HumanML3Dベンチマークで1.055のFrechet Inception Distance（FID）を達成し、先行研究のMMD（8.848）やACTOR（14.14）を大きく上回った。
• MLDは8.577の多様性スコアを達成し、比較されたすべての手法の中で最高であり、優れた動きの多様性と現実性を示した。
• 最小の潜在コード（z ∈ ℝ¹×²⁵⁶）を用いたモデルが最良の性能を示し、低次元で高情報密度の潜在空間が動き拡散に最適であると示唆した。
• 拡散ノイズ除去器にスキップ接続を組み込むことで、FIDは1.5倍、多様性は1.2倍向上した。
• MLDは推論時間を2桁の速度向上（1回あたり平均0.24秒）を達成し、1枚のTesla V100で24.74秒を要するMDMと比較した。
• モデルは強力な汎化性能を示し、条件付きおよび無条件の両方の動き生成タスクにおいて、FID、多様性、Inceptionスコアといった複数の指標で一貫した改善を示した。

Figure 2 : Method overview: MLD consists of a VAE model $\mathcal{V}$ ( Sec. 3.1 ) and a latent diffusion model $\epsilon_{\theta}$ ( Sec. 3.2 ) conditioned on text or action embedding $\tau_{\theta}$ ( Sec. 3.3 ). We propose two-stage training: first learn $\mathcal{V}$ for Motion Representations i