[論文レビュー] DiffMotion: Speech-Driven Gesture Synthesis Using Denoising Diffusion Model

Fan Zhang, Naye Ji+2 more|arXiv (Cornell University)|Jan 24, 2023

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本論文では、音声駆動型3次元ジェスチャー合成のための拡散ベース生成モデルであるDiffMotionを提案する。このモデルは自己回帰的時系列エンコーダとノイズ除去拡散モジュールを用い、音声とジェスチャーの間の複雑な1対多のマッピングを学習する。本手法は多様で自然でリズム的に同期されたジェスチャーを生成し、客観的および主観的評価の両面で最先端のベースラインを上回り、人間評価では実際のモーションキャプチャデータとほぼ同等のスコアを達成した。

ABSTRACT

Speech-driven gesture synthesis is a field of growing interest in virtual human creation. However, a critical challenge is the inherent intricate one-to-many mapping between speech and gestures. Previous studies have explored and achieved significant progress with generative models. Notwithstanding, most synthetic gestures are still vastly less natural. This paper presents DiffMotion, a novel speech-driven gesture synthesis architecture based on diffusion models. The model comprises an autoregressive temporal encoder and a denoising diffusion probability Module. The encoder extracts the temporal context of the speech input and historical gestures. The diffusion module learns a parameterized Markov chain to gradually convert a simple distribution into a complex distribution and generates the gestures according to the accompanied speech. Compared with baselines, objective and subjective evaluations confirm that our approach can produce natural and diverse gesticulation and demonstrate the benefits of diffusion-based models on speech-driven gesture synthesis.

研究の動機と目的

• 仮想ヒューマンアニメーションにおける音声とジェスチャーの間の本質的な1対多のマッピングの課題に対処すること。
• 決定論的またはオートエンコーダベースのモデルを上回る、より自然で多様な音声駆動型ジェスチャー合成を改善すること。
• 拡散モデルが、これまでの使用が限られていたクロスモodalジェスチャー生成分野における可能性を検討すること。
• 手動によるジェスチャーのアノテーションを一切必要としない、完全にエンドツーエンドで弱教師付きのフレームワークを開発すること。
• 音声のリズムと意味に一致する高品質で時間的に整合性があり、表現力のあるジェスチャーを生成すること。

提案手法

• 自己回帰的時系列エンコーダが、順次的な音声および履歴ジェスチャー特徴量を処理し、長距離の時系列依存性を捉える。
• ノイズ除去拡散確率的モデルが、ガウスノイズからの潜在表現を段階的にノイズ除去することで、現実的な3次元ジェスチャー系列を生成する。
• 拡散モジュールは音声埋め込みおよび事前ジェスチャー状態に条件付けられており、多様な出力を条件付きで生成可能である。
• 再構成誤差の最小化とサンプル品質の向上を目的として、変分下界最適化によりモデルを訓練する。
• アーキテクチャにより、手動アノテーションを必要とせず、構造のない生のモーションキャプチャデータ上でエンドツーエンドの学習が可能である。
• 推論は逆方向のノイズ除去ステップを含み、品質と速度のバランスを取るために、拡散ステップ数のハイパーパramータチューニングが行われる。

Figure 1: Random samples from DiffMotion can give many distinct yet natural output gestures within and between sequences, even if the input speech audio is the same.

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルは、音声とジェスチャーの間の複雑な1対多のマッピングを効果的に学習できるか？
• RQ2 本手法であるDiffMotionは、GANやVAE、ノーマライジングフローなどの既存の生成モデルと比較して、多様で自然なジェスチャーを生成する点でどのように優れているか？
• RQ3 拡散ステップ数がジェスチャーの品質、多様性、推論速度に与える影響は何か？
• RQ4 訓練データに存在しないジェスチャーであっても、本モデルはリアルでリズム的に音声に整合したジェスチャーを生成できるか？
• RQ5 人間評価において、本モデルの性能は実際のモーションキャプチャデータにどの程度近いか、あるいはそれを達成できるか？

主な発見

• DiffMotionは人間らしさスコアで3.89 ± 0.95を達成し、実際のモーションキャプチャデータ（3.89 ± 0.93）とほぼ同等であり、高い知覚的リアリズムを示した。
• 適切さ評価では3.93 ± 0.93のスコアを記録し、ジェスチャーと音声コンテンツの強い整合性を示した。
• 多様性評価において、DiffMotion（3.91 ± 0.96）は実データ（3.60 ± 1.02）を顕著に上回り、データセットに存在するものよりも多様なジェスチャーを生成した。
• 最適な拡散ステップ数は100と特定され、動きの連続性と推論効率の両立に最適であった。
• N=1000を超えると推論時間が著しく増加し、細部の過剰平滑化により奇妙なポーズが生成される場合もあった。
• N=2500で検証損失が0.10に低下したが、1フレームあたり8.02秒の推論時間であったため、品質と速度のトレードオフが顕著に現れた。

Figure 2: DiffMotion schematic. The model consists of an Autoregressive Temporal Encoder and a Denoising Diffusion Probabilistic Module.