[論文レビュー] DiffSpeaker: Speech-Driven 3D Facial Animation with Diffusion Transformer

Zhiyuan Ma, Xiangyu Zhu+4 more|arXiv (Cornell University)|Feb 8, 2024

Face recognition and analysis被引用数 4

ひとこと要約

DiffSpeakerは、話者のスタイルと拡散段階のバイアスを組み込んだ条件付き自己・クロスアテンションを備えた拡散ベースのトランスフォーマーモデルを提案する。この手法は、音声駆動型3次元顔面アニメーションにおいて、リップシンクロナイゼーションと顔の表情の質の面で最先端の性能を達成するとともに、高速かつ並列な推論を可能にする。本手法は、短い音声-4Dシーケンスにおけるデータ不足の問題に対処し、拡散段階と話者のスタイルのバイアスをアテンション機構に埋め込むことで、大規模なペairedデータを必要とせずに、アライメントと多様性の両方を向上させる。

ABSTRACT

Speech-driven 3D facial animation is important for many multimedia applications. Recent work has shown promise in using either Diffusion models or Transformer architectures for this task. However, their mere aggregation does not lead to improved performance. We suspect this is due to a shortage of paired audio-4D data, which is crucial for the Transformer to effectively perform as a denoiser within the Diffusion framework. To tackle this issue, we present DiffSpeaker, a Transformer-based network equipped with novel biased conditional attention modules. These modules serve as substitutes for the traditional self/cross-attention in standard Transformers, incorporating thoughtfully designed biases that steer the attention mechanisms to concentrate on both the relevant task-specific and diffusion-related conditions. We also explore the trade-off between accurate lip synchronization and non-verbal facial expressions within the Diffusion paradigm. Experiments show our model not only achieves state-of-the-art performance on existing benchmarks, but also fast inference speed owing to its ability to generate facial motions in parallel.

研究の動機と目的

• 拡散モデルとトランスフォーマーを組み合わせることで、音声駆動型3次元顔面アニメーションの性能を向上させ、従来手法の限界を克服すること。
• 音声-4D顔面運動データのペアが限られている状況において、顔面アニメーションのための拡散ベースのトランスフォーマーを訓練する課題に対処すること。
• 条件付き拡散フレームワーク内において、正確なリップシンクロと表現豊かな非言語的顔面運動の両立を図ること。
• データ集約性を低減しつつ長距離の文脈を保持するように設計されたアテンション機構により、高速かつ並列な推論を可能にすること。

提案手法

• 拡散段階と話者のスタイルを条件付けバイアスとして埋め込んだ、新規のバイアス付き条件付き自己・クロスアテンション機構を導入し、関連する時間的・意味的キューに注目を向けるようにアテンションをガイドする。
• 音声入力を用いてノイズ除去プロセスをガイドする条件付き拡散モデルを採用し、訓練中に10%の確率で無条件のノイズ除去を実行することで、出力の多様性を向上させる。
• ガイドスケール $w$ を用いて、音声・視覚のアライメント（リップシンクロ）と顔面表情の豊かさの間のトレードオフを制御するが、最終的なモデルでは安定的かつ高精度な同期を実現するため、これを無効化する。
• 時間的アライメントを優先するように、タスク固有のバイアスをアテンションに組み込むことで、訓練中に膨大なデータを必要としないようにする。
• 標準的な自己・クロスアテンションを、条件に応じたバイアスに置き換え、関連する音声および運動トークンに注目を向けるようにアテンションを誘導することで、短い限られたデータでも効率的かつ高性能に動作する。
• 音声と運動トークン間のクロスアテンションを備えたノイズ除去U-Netバックボーンを採用し、拡散段階と話者のスタイル情報を符号化した固定バイアスを追加して強化する。

実験結果

リサーチクエスチョン

• RQ1 限られたペア化された音声-4D顔面運動データに対して、どのように拡散ベースのトランスフォーマーを効果的に訓練できるか？
• RQ2 自己・クロスアテンションにおける条件固有のバイアスが、拡散ベースの顔面アニメーションにおける時間的アライメントと表情品質の向上に果たす役割は何か？
• RQ3 無条件ガイドラインの導入が、リップシンクロの正確性を犠牲にしながら、顔面表情の多様性をどの程度向上させるのか？
• RQ4 拡散ベースのトランスフォーマーは、高品質な顔面アニメーションを維持しつつ、高速かつ並列な推論を達成できるか？
• RQ5 一般的なまたは一様なバイアス化方式と比較して、タスク固有のアテンションバイアスは、性能と耐性の面でどの程度優れているか？

主な発見

• DiffSpeakerは、既存のベンチマークで最先端の性能を達成し、顔面の詳細距離（FDD）およびリップビデオ誤差（LVE）の両指標で、従来手法を上回る。
• 全顔面運動シーケンスを並列に生成することで、高速な推論速度を実現し、10–90秒の音声クリップに対する平均遅延は、自己回帰的ベースラインよりも顕著に低く抑えられている。
• クロスアテンションバイアスを削除すると、性能に顕著な低下が見られ、LVEが12.3%、FDDが8.7%上昇するため、音声-運動アライメントにおいてその重要性が明確に示された。
• 自己アテンションバイアスの導入により、時間的連続性のモデリングが向上し、運動のジャイタリティが低減し、顔面のダイナミクスのリアルさが向上した。
• FaceFormerスタイルのバイアスをタスク固有のものではなく採用した場合、性能が劣化するため、条件に応じたバイアス設計の必要性が確認された。
• モデルはランダムシードにかかわらず安定した結果を示し、信頼区間が狭く、無条件ガイドラインに依存せず、信頼性と耐性に優れていることが示された。