[論文レビュー] GeneFace++: Generalized and Stable Real-Time Audio-Driven 3D Talking Face Generation

Zhenhui Ye, Jinzheng He+8 more|arXiv (Cornell University)|May 1, 2023

Face recognition and analysis被引用数 5

ひとこと要約

GeneFace++ は、一般化された音声-口元同期、高い動画品質、高速な推論を達成するリアルタイムで NeRF に基づく音声駆動 3D 談話顔生成の手法を提案する。ピッチに敏感な音声から動きへのモジュールと時間的滑らかさを付与する手法、および局所線形埋め込み（LLE）を用いたランドマーク後処理法を導入し、動きの整合性と耐性を向上させ、最先端の性能を発揮する安定したリアルタイムレンダリングを実現する。

ABSTRACT

Generating talking person portraits with arbitrary speech audio is a crucial problem in the field of digital human and metaverse. A modern talking face generation method is expected to achieve the goals of generalized audio-lip synchronization, good video quality, and high system efficiency. Recently, neural radiance field (NeRF) has become a popular rendering technique in this field since it could achieve high-fidelity and 3D-consistent talking face generation with a few-minute-long training video. However, there still exist several challenges for NeRF-based methods: 1) as for the lip synchronization, it is hard to generate a long facial motion sequence of high temporal consistency and audio-lip accuracy; 2) as for the video quality, due to the limited data used to train the renderer, it is vulnerable to out-of-domain input condition and produce bad rendering results occasionally; 3) as for the system efficiency, the slow training and inference speed of the vanilla NeRF severely obstruct its usage in real-world applications. In this paper, we propose GeneFace++ to handle these challenges by 1) utilizing the pitch contour as an auxiliary feature and introducing a temporal loss in the facial motion prediction process; 2) proposing a landmark locally linear embedding method to regulate the outliers in the predicted motion sequence to avoid robustness issues; 3) designing a computationally efficient NeRF-based motion-to-video renderer to achieves fast training and real-time inference. With these settings, GeneFace++ becomes the first NeRF-based method that achieves stable and real-time talking face generation with generalized audio-lip synchronization. Extensive experiments show that our method outperforms state-of-the-art baselines in terms of subjective and objective evaluation. Video samples are available at https://genefaceplusplus.github.io .

研究の動機と目的

• NeRF を用いた談話顔生成における長期的時間的不整合性と低レベルの音声-口元同期精度という課題に対処する。
• 過剰な口の動きなど、ドメイン外（OOD）の顔面動きに対する耐性を向上させ、レンダリング品質の低下を防ぐ。
• 高品質な動画と 3D の整合性を維持しながら、リアルタイム推論を可能にするためのシステム効率を向上させる。
• 異なったアイデンティティ、異言語、歌い声を含む多様な音声入力において、一般化された性能を達成する。
• 従来の NeRF を用いた手法が抱える訓練安定性、推論速度、レンダリング忠実度の制限を克服する。

提案手法

• 音声から動きへのモジュールにピッチコントゥールを補助的音声特徴として導入し、口元同期精度と時間的整合性を向上させる。
• ランドマーク予測時に時間的滑らかさ損失を適用し、長時間にわたるシーケンスにおけるジターリダクションと動きの滑らかさを向上させる。
• ランドマーク局所線形埋め込み（LLE）を提案し、外れ値をターゲットアイデンティティの多様体に投影することで、予測された顔面ランドマークの耐性を向上させる。
• ハイパーコーディネートに基づく NeRF を用いた計算効率の高い即時動きから動画へのレンダラーを設計し、推論速度を最適化する。
• 顔面ランドマークの 3D ハイパーコーディネート表現を採用することで、モデル容量とレンダリング品質のバランスを取る。
• レンダラー内でポストネットを介した adversarial ドメイン適応を統合し、予測された動きをトレーニング分布に一致させ、レンダリングアーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 ピッチコントゥールを補助的特徴として組み込むことで、長時間の談話顔生成における音声-口元同期性と時間的整合性が向上するか？
• RQ2 ランドマーク LLE のような多様体ベースの後処理法が、ドメイン外の顔面動きに起因するレンダリング失敗を効果的に低減できるか？
• RQ3 軽量で即時的な動きから動画への NeRF レンダラーが、動画品質や 3D の整合性を損なわずにリアルタイム推論を達成できるか？
• RQ4 提案手法が、歌い声や異アイデンティティの会話など多様な音声入力に対してどのように一般化するか？
• RQ5 動きから動画へのレンダリングパイプラインにおいて、モデル容量（ハイパーコーディネート次元）と推論速度の最適なトレードオフは何か？

主な発見

• ピッチに敏感な音声から動きへのモジュールは、ベースラインと比較して LMD を 12.8% 減少させ、Sync スコアを 1.05 ポイント向上させ、顔の口元同期精度と時間的安定性が顕著に向上した。
• Landmark LLE を用いることで、α=1.0 時に悪影響ケース率を 51.3%（LLE 無し）から 10.2% に低下させ、Sync スコアの低下はわずかであり、OOD ランドマークの処理に有効であることが実証された。
• LLE で α=0.5 を採用すると最良のトレードオフが得られ、悪影響ケース率を 16.4% に低下させつつも高い口元同期品質を維持した。
• ハイパーコーディネート次元を 2 から 3 に増加させることで、唇領域の PSNR が 0.32 dB（31.13 → 31.22）向上し、高周波数の唇ダイナミクスのモデル化が向上したことが示された。
• 即時動きから動画へのレンダラーは、3D ハイパーコーディネートを用いて 23.55 FPS を達成し、高品質な PSNR（顔部：31.22、唇部：30.21）を維持したうえでリアルタイム推論を実現した。
• アブレーションスタディにより、ピッチに敏感なモデリングと LLE の両方が耐性と性能に不可欠であることが確認され、いずれかのコンponentを除去すると LMD と Sync スコアが著しく低下した。