[論文レビュー] End-to-End Speech-Driven Facial Animation with Temporal GANs

Konstantinos Vougioukas, Stavros Petridis+1 more|arXiv (Cornell University)|May 23, 2018

Face recognition and analysis参考文献 24被引用数 40

ひとこと要約

この論文は、生の音声と単一の静止画像から直接、主題に依存しない話す頭部動画を生成するエンドツーエンドの Temporal GAN を提案し、手作り特徴を用いずに同期された唇の動きと自然な表情を生成します。

ABSTRACT

Speech-driven facial animation is the process which uses speech signals to automatically synthesize a talking character. The majority of work in this domain creates a mapping from audio features to visual features. This often requires post-processing using computer graphics techniques to produce realistic albeit subject dependent results. We present a system for generating videos of a talking head, using a still image of a person and an audio clip containing speech, that doesn't rely on any handcrafted intermediate features. To the best of our knowledge, this is the first method capable of generating subject independent realistic videos directly from raw audio. Our method can generate videos which have (a) lip movements that are in sync with the audio and (b) natural facial expressions such as blinks and eyebrow movements. We achieve this by using a temporal GAN with 2 discriminators, which are capable of capturing different aspects of the video. The effect of each component in our system is quantified through an ablation study. The generated videos are evaluated based on their sharpness, reconstruction quality, and lip-reading accuracy. Finally, a user study is conducted, confirming that temporal GANs lead to more natural sequences than a static GAN-based approach.

研究の動機と目的

• raw audioと静止画像をリアルな話す頭部動画へ変換するエンドツーエンドシステムを、手作り特徴なしで実現することを示す。
• 口の同期だけでなく、瞬きやしかめっ面といった自然な表情を時系列モデリングで捉える。
• 新しい個体識別にも retraining なしでアニメーション化できるよう、被写体依存性を排除する。
• 動画品質、リップリーディング精度、アイデンティティ保持、ユーザー認識による現実感を評価する。
• アブレーション研究を通じて時間的成分の寄与を評価し、静的ベースラインと比較する。

提案手法

• 識別子エンコーダ、文脈（音声）エンコーダ、フレームデコーダ、ノイズ生成器を備えたジェネレータを使用して動画フレームを生成する。
• フレーム識別器とシーケンス識別器の二つの識別器を組み込み、各フレームの現実的なアイデンティティと、音声と整合した連続性を担保する。
• 両方の識別器からの対戦的損失と、表情を保つために顔の下半分に制限されたL1再構成損失を併用する。
• リアルタイム生成に適した可変長シーケンスを扱うためRNNベースのジェネレータを採用する。
• アイデンティティを保つためのSkip接続付きのU-Net風フレームデコーダを利用する。
• GRIDとTCD-TIMITデータセットで、PSNR、SSIM、FDBM、CPBD、ACD（アイデンティティ）、WER（リップリーディング）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 raw audio を手作り特徴や後処理なしに直接現実的な talking-head 動画へ変換できるか。
• RQ2 フレーム識別器とシーケンス識別器を分離した temporal GAN は、静的ベースラインよりも自然で同期した表情運動を生み出すか。
• RQ3 未見のアイデンティティへ一般化しつつ、表情のアイデンティティと正確なリップ同期を維持できるか。
• RQ4 各要素（フレーム識別器、シーケンス識別器、L1損失）の貢献が、再構成品質、シャープさ、リップリーディング精度にどのような影響を与えるか。
• RQ5 得られた動画はユーザー評価（チューリングテスト）で説得力があるか。

主な発見

手法	PSNR	SSIM	FDBM	CPBD	ACD	ユーザー	WER
GRID Proposed Model	27.98	0.844	0.114	0.277	1.02e-4	79.77 %	25.4 %
GRID Baseline	27.39	0.831	0.113	0.280	1.07e-4	20.22 %	37.2 %
TCD Proposed Model	23.54	0.697	0.102	0.253	2.06e-4	77.03 %	N/A
TCD Baseline	23.01	0.654	0.097	0.252	2.29e-4	22.97 %	N/A

• 提案モデルは、GRIDでの評価時に高いフレーム品質を達成（PSNR 27.98、SSIM 0.844）、シャープさも高く（FDBM 0.114、CPBD 0.277）、アイデンティティ保持（ACD 1.02e-4）と低WER（GRIDで25.4%）を達成。
• アブレーション研究ではL1損失がPSNR/SSIMを改善する一方でアイデンティティ忠実度を低下させる可能性があることを示す；Adv_img の追加によりシャープさが向上；Adv_seq の追加でリップリーディング精度がさらに改善（GRIDでWER 25.45%）。
• 二つの識別器を備えた temporal GAN は、静的ベースラインよりも連続性の高いシーケンスとリップリーディング精度を実現（GRIDのWERは25.4%対37.2%）し、ACDは概ね同等。
• リップリーディングベースのWERと顔検証ACDは、完全な時系列モデルで話された内容の精度とアイデンティティ保持が改善されることを示す。
• GRIDとTCD-TIMIT における主題に依存しない評価は、未見の顔を自然な表情（瞬き・しかめっ面など）でアニメーションできることを示す。