[論文レビュー] HeadGAN: Video-and-Audio-Driven Talking Head Synthesis

Michail Christos Doukas, Stefanos Zafeiriou+1 more|arXiv (Cornell University)|Dec 15, 2020

Face recognition and analysis被引用数 4

ひとこと要約

HeadGANは、ドライビング動画からの3次元顔表現と音声特徴を活用することで、特に極端な頭部ポーズ下でも、アイデンティティの保持と写真のようなリアルさを向上させるGANベースの会話ヘッド合成手法を提案する。生成器を3次元顔の幾何学と音声の手がかりで条件づけることで、より現実的な口唇の動きとリアルな顔の再現が実現される。

ABSTRACT

Recent attempts to solve the problem of talking head synthesis using a single reference image have shown promising results. However, most of them fail to meet the identity preservation problem, or perform poorly in terms of photo-realism, especially in extreme head poses. We propose HeadGAN, a novel reenactment approach that conditions synthesis on 3D face representations, which can be extracted from any driving video and adapted to the facial geometry of any source. We improve the plausibility of mouth movements, by utilising audio features as a complementary input to the Generator. Quantitative and qualitative experiments demonstrate the merits of our approach.

研究の動機と目的

• 1枚の画像に基づく会話ヘッド合成におけるアイデンティティ保持の問題を解決すること。
• 従来の手法が失敗するような極端な頭部ポーズ下でも、写真のようなリアルさを向上させること。
• 音声特徴を条件信号として組み込むことで、口唇の動きのリアルさと同期性を向上させること。
• 3次元顔の表現をソースのアイデンティティに適応させることで、顔の再現性を高めること。

提案手法

• ドライビング動画から抽出した3次元顔表現を生成器に条件づけることで、アイデンティティと幾何学を保持する。
• ソース画像の顔の構造に合わせて3次元顔表現を適応させることで、アイデンティティの整合性を図る。
• 音声特徴を生成器の追加入力として統合し、リアルな唇の動きを誘導する。
• 識別器が知覚的品質とアイデンティティの一貫性を強制するGANフレームワークを活用する。
• 生成器を、視覚的動きと音声駆動の発話に一致する動画フレームを合成するように訓練する。
• 2段階の訓練プロセスを活用する：まずドライビング動画から3次元顔の幾何学を抽出し、次にソースのアイデンティティ、3次元幾何学、音声を条件としたフレームを生成する。

実験結果

リサーチクエスチョン

• RQ1 ドライビング動画からの3次元顔表現は、会話ヘッド合成におけるアイデンティティ保持を改善できるか？
• RQ2 音声特徴を組み込むことで、よりリアルで同期の取れた口唇の動きが得られるか？
• RQ3 本手法は、従来のアプローチと比較して、極端な頭部ポーズ下でどのように性能を発揮するか？
• RQ4 3次元幾何学と音声の組み合わせが、生成された会話ヘッドの写真のようなリアルさをどの程度向上させるか？

主な発見

• HeadGANは、ドライビング動画からの3次元顔表現をソース画像と一致させることで、優れたアイデンティティ保持を達成する。
• 音声特徴の統合により、口唇の動きのリアルさと同期性が顕著に向上する。
• 極端な頭部ポーズ下でも、本手法は優れた性能を示し、視覚的な妥当性において従来の手法を上回る。
• 定量的および定性的な評価により、生成動画の写真のようなリアルさと時間的整合性の向上が確認された。