[論文レビュー] Attention-Based Lip Audio-Visual Synthesis for Talking Face Generation in the Wild

Ganglai Wang, Peng Zhang+3 more|arXiv (Cornell University)|Mar 8, 2022

Face recognition and analysis被引用数 9

ひとこと要約

この論文は、空間的およびチャネル注意モジュールをWav2Lipフレームワークに統合して、唇領域への注目を強化する注目ベースの音声視覚合成モデルであるAttnWav2Lipを提案する。この手法は、LRW、LRS2、LRS3データセットにおいて最先端の性能を達成し、ベースラインと比較してLSE-Dを4.1%低減し、LSE-Cを1.9%向上した。

ABSTRACT

Talking face generation with great practical significance has attracted more attention in recent audio-visual studies. How to achieve accurate lip synchronization is a long-standing challenge to be further investigated. Motivated by xxx, in this paper, an AttnWav2Lip model is proposed by incorporating spatial attention module and channel attention module into lip-syncing strategy. Rather than focusing on the unimportant regions of the face image, the proposed AttnWav2Lip model is able to pay more attention on the lip region reconstruction. To our limited knowledge, this is the first attempt to introduce attention mechanism to the scheme of talking face generation. An extensive experiments have been conducted to evaluate the effectiveness of the proposed model. Compared to the baseline measured by LSE-D and LSE-C metrics, a superior performance has been demonstrated on the benchmark lip synthesis datasets, including LRW, LRS2 and LRS3.

研究の動機と目的

• 制約のない会話顔生成における不正確な唇同期の課題に対処すること。特に、実世界（「ワイルド」）の動画環境における課題に焦点を当てる。
• 訓練中にモデルの注目を口元に向け、顔の関係のない領域への注目を減らすことで、唇領域の再構成を改善すること。
• 音声視覚の唇同期モデルに、特に空間的およびチャネル的注意を統合する有効性を調査すること。
• 言語固有のファインチューニングなしで、多様なデータセットにわたる頑健な唇同期性能を達成し、未学習データに対するゼロショット推論を可能にすること。
• 注意メカニズムが、標準的なGANベースやオートエンコーダベースの手法をはるかに上回る唇同期精度を顕著に向上させられることを示すこと。

提案手法

• Wav2Lip生成器ネットワークの畳み込みブロックに、空間的注意モジュール（SAM）とチャネル注意モジュール（CAM）を統合する。
• CBAMスタイルの注意モジュールを採用し、特徴マップに基づいて注意マップを計算し、重要度の高い空間的位置とチャネルごとの特徴応答を強調する。
• 勾配の流れを保持し、訓練の安定性を高めるために、残差接続を適用する。
• 敵対的訓練のために事前学習済みの唇同期識別器を用い、収束を改善するため手動で調整した同期ペナルティ重み（α = 0.03）を採用する。
• L1再構成損失と音声視覚同期損失（Lsync）の組み合わせでモデルを訓練し、S3FDを用いた顔検出と96×96×3へのリサイズによるデータ拡張を実施する。
• 標準的なスケジューリングでは収束しなかったため、α = 0.03を固定した状態で、事前学習済みWav2Lipのチェックポイントからファインチューニングすることで、訓練の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 空間的およびチャネル的注意メカニズムの統合は、制約のない会話顔生成における唇同期精度を向上させることができるか？
• RQ2 モデルの注目を唇領域に向けさせることで、標準的な畳み込みネットワークと比較して、口の動きの再構成が改善されるか？
• RQ3 空間的およびチャネル的注意モジュールは、それぞれ唇同期性能にどのように寄与するか？また、どちらがより効果的か？
• RQ4 提案された注意ベースのモデルは、ファインチューニングなしで複数のベンチマークデータセット（LRW、LRS2、LRS3）に一般化可能か？
• RQ5 注意メカニズムは、Wav2Lip や LipGAN といった既存のSOTAモデルを上回る同期指標（LSE-DおよびLSE-C）を向上させることができるか？

主な発見

• 提案されたAttnWav2Lipモデルは、LRS3データセットで7.339のLSE-Dスコアと6.530のLSE-Cスコアを達成し、ベースラインのWav2Lip（7.521 LSE-D、6.406 LSE-C）を上回った。
• アブレーションスタディの結果、空間的およびチャネル的注意の両方が性能向上に寄与していることが確認され、特に空間的注意が同期精度向上により顕著な寄与を示した。
• 空間的注意マップの可視化から、モデルが明示的に唇領域に注目しており、注目重みの高い部分が口元に集中していることがわかった。
• ベースラインのWav2Lipと比較して、LSE-Dは4.1%低減され、LSE-Cは1.9%向上した。これは、全テストデータセットで一貫した改善を示した。
• ファインチューニングなしで、LRW、LRS2、LRS3の全データセットでゼロショット推論において優れた性能を発揮し、優れた一般化能力を示した。
• 訓練の安定化のため、同期ペナルティ重み（α = 0.03）の手動チューニングが不可欠であった。元のアダプティブスケジューリングでは、Lsyncが0.75未満に低下しなかった。