[論文レビュー] StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation

Dongchan Min, Min‐Young Song+2 more|arXiv (Cornell University)|Aug 23, 2022

Face recognition and analysis被引用数 6

ひとこと要約

StyleTalker は、1枚の参照画像と音声から高精細でリップシンクが正確な動画を生成するワンショット、音声駆動型の会話顔動画生成モデルであり、事前学習済みの StyleGAN と画像エンコーダーを活用している。顔の動きやまばたきもリアルに再現できる。条件付き逐次VAEに正規化フローを組み合わせた音声から動きへのモデリングと、対照的リップシンクディスクライマーを採用することで、従来手法を上回る最先端の性能を達成しており、音声駆動型および動き制御型の両方の設定で優れた結果を示している。

ABSTRACT

We propose StyleTalker, a novel audio-driven talking head generation model that can synthesize a video of a talking person from a single reference image with accurately audio-synced lip shapes, realistic head poses, and eye blinks. Specifically, by leveraging a pretrained image generator and an image encoder, we estimate the latent codes of the talking head video that faithfully reflects the given audio. This is made possible with several newly devised components: 1) A contrastive lip-sync discriminator for accurate lip synchronization, 2) A conditional sequential variational autoencoder that learns the latent motion space disentangled from the lip movements, such that we can independently manipulate the motions and lip movements while preserving the identity. 3) An auto-regressive prior augmented with normalizing flow to learn a complex audio-to-motion multi-modal latent space. Equipped with these components, StyleTalker can generate talking head videos not only in a motion-controllable way when another motion source video is given but also in a completely audio-driven manner by inferring realistic motions from the input audio. Through extensive experiments and user studies, we show that our model is able to synthesize talking head videos with impressive perceptual quality which are accurately lip-synced with the input audios, largely outperforming state-of-the-art baselines.

研究の動機と目的

• 従来のワンショット音声駆動型会話顔モデルが、リアルな顔の向きやまばたきを生成できないという限界を是正すること。
• 3D顔ジオメトリーやランドマークを必要とせず、音声駆動型および動き制御型の両方の会話顔動画生成を可能にすること。
• 潜在空間でリップの動きと顔の動き、まばたきを分離し、独立してリアルに制御できること。
• 新規な対照的ディスクライマーと正規化フローの事前分布を用いて、リップシンクの正確性と動画の知覚的品質を向上させること。
• 事前学習済みの画像生成モデルを最小限の教師信号で微調整して、音声駆動型動画生成に効果的に応用できることを示すこと。

提案手法

• 1枚の参照画像を事前学習済みの StyleGAN と画像エンコーダーで潜在空間に埋め込み、アイデンティティを保持しながら音声駆動型の操作を可能にする。
• 音声と視覚の正確な一致を強制するために、新規な対照的学習目的で訓練された対照的リップシンクディスクライマー（SyncNet）を導入する。
• 条件付き逐次変分オートエンコーダー（VAE）を採用し、リップの動きとは分離された動きの潜在空間をモデル化することで、顔の向きや表情の独立した制御を可能にする。
• VAEの事前分布に正規化フローを追加し、複雑で多様な音声から動きへの分布をモデル化することで、動きのリアルさと多様性を向上させる。
• 学習された音声から動きへのマッピングを用いて、音声のみから（音声駆動型）または動きのソース動画を条件として（動き制御型）動画を生成する。
• 予測された音声駆動型の動きとリップの形状に基づいて、参照画像のスタイルコードを操作することで、フレーム間でアイデンティティを保持した動画フレームを再構築する。

実験結果

リサーチクエスチョン

• RQ1 1枚の参照画像のみで、明示的な3D監視や動きのソース動画を必要とせずに、リアルな顔の向きやまばたきを生成できるか？
• RQ2 標準的なGAN損失と比較して、対照的ディスクライマーは音声駆動型動画生成におけるリップシンクの正確性をどの程度向上させるか？
• RQ3 正規化フローを強化した事前分布は、複雑で多様な音声から動きへの分布をどの程度正確にモデル化できるか？
• RQ4 潜在空間で動きとリップの動きを分離することで、生成される会話顔動画の制御性とリアルさはどの程度向上するか？
• RQ5 知覚的品質、リップシンクの正確性、動きの自然さの観点から、提案手法は最先端のベースラインと比較してどの程度優れているか？

主な発見

• 音声駆動型生成におけるリップシンクの正確性について、StyleTalker は平均意見スコア（MOS）4.06 ± 0.22 を達成し、Wav2Lip（3.50 ± 0.32）や他のベースラインを顕著に上回った。
• 動き制御型生成においては、リップシンクのMOSが3.77 ± 0.26、動きの自然さのMOSが3.65 ± 0.31を記録し、PC-AVS（それぞれ3.70 ± 0.30 および 2.93 ± 0.31）を上回った。
• アブレーションスタディの結果、正規化フローを削除すると、動きの自然さと動画の現実性スコアがそれぞれ13.89%に低下し、その重要性が裏付けられた。
• SyncNetディスクライマーを導入しないと、LSE-Cスコアが8.51から6.71に低下し、正確なリップシンクを達成する上でその重要性が確認された。
• ユーザー研究の結果、StyleTalker は、従来手法に比べてよりリアルで自然な動画を生成しており、特にまばたきの再現と動きの多様性が優れていることが確認された。
• モデルはリップの動きを顔の動きやまばたきから効果的に分離しており、独立した制御が可能で、より表現的で生き生きとした顔のアニメーションを実現している。