[論文レビュー] DreamTalk: When Emotional Talking Head Generation Meets Diffusion Probabilistic Models

Yifeng Ma, Shiwei Zhang+4 more|arXiv (Cornell University)|Dec 15, 2023

Face recognition and analysis被引用数 9

ひとこと要約

DreamTalk は、拡散モデルとノイズ除去ネットワーク、スタイル認識リップ専門家、スタイル予測子を活用して、 extensive なスタイル参照に依存せずに、表現豊かな音声駆動の talking head を生成し、リップシンクの改善と多様な話し方を実現します。

ABSTRACT

Emotional talking head generation has attracted growing attention. Previous methods, which are mainly GAN-based, still struggle to consistently produce satisfactory results across diverse emotions and cannot conveniently specify personalized emotions. In this work, we leverage powerful diffusion models to address the issue and propose DreamTalk, a framework that employs meticulous design to unlock the potential of diffusion models in generating emotional talking heads. Specifically, DreamTalk consists of three crucial components: a denoising network, a style-aware lip expert, and a style predictor. The diffusion-based denoising network can consistently synthesize high-quality audio-driven face motions across diverse emotions. To enhance lip-motion accuracy and emotional fullness, we introduce a style-aware lip expert that can guide lip-sync while preserving emotion intensity. To more conveniently specify personalized emotions, a diffusion-based style predictor is utilized to predict the personalized emotion directly from the audio, eliminating the need for extra emotion reference. By this means, DreamTalk can consistently generate vivid talking faces across diverse emotions and conveniently specify personalized emotions. Extensive experiments validate DreamTalk's effectiveness and superiority. The code is available at https://github.com/ali-vilab/dreamtalk.

研究の動機と目的

• ニュートラル表現を超えた表現豊かなトーキングヘッド生成を動機づける。
• 拡散モデルを活用して高品質で多様な話し方を実現する。
• 高価なスタイル参照動画やテキストを必要とせず、音声とポートレートからスタイルを推定する。
• 多言語・入力にわたって生き生きとした表現を保ちつつ、正確なリップシンクを確保する。

提案手法

• 音声とスタイル参照動画を条件として、オーディオ駆動の顔の動作を合成する拡散ベースのノイズ除去ネットワークを使用する。
• 表現豊かな話し方のスタイルを保持しつつリップシンクのガイダンスを提供する、スタイル認識リップ専門家を導入する。
• 音声（およびポートレート）から話し方のスタイルを推定する拡散ベースのスタイル予測子を組み込み、スタイル参照の依存を減らす。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、さまざまな話し方のスタイルにおいて正確なリップシンクを伴う表現豊かなトーキングヘッドを生成できるか。
• RQ2 表現力とリップシンクの正確さのバランスを取るよう、リップモーションのガイダンスをスタイル認識可能にする方法は。
• RQ3 音声のみから、参照動画やテキストなしで個別の話し方スタイルを予測することは可能か。

主な発見

• DreamTalk は、リップシンクの正確さとスタイル表現力の両方で最先端手法を上回る。
• スタイル認識リップ専門家は、強いリップシンクを維持しつつ生き生きとした表現を保持する。
• スタイル予測子は、音声とポートレートから個別の話し方スタイルを推定でき、追加のスタイル参照の必要性を減らす。
• DreamTalk は、ドメイン外のポートレート、多言語の発話、およびノイズのある音声への頑健な一般化を示す。