[論文レビュー] NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection

Yu Chen, Yang Yu+3 more|arXiv (Cornell University)|Jun 12, 2023

Speech and Audio Processing被引用数 4

ひとこと要約

NPVForensicsは、高度なフォージャーが完全に正確な音声・視覚同期を達成できない非重要音素・ビズムペアの不整合に着目した、深造造フェイク検出の新規手法を提案する。Swin Transformerに基づく局所的特徴集約モジュール、音声・視覚モダリティ間の融合を促進する音声・ビズム認識モジュール、共分散誘導型表現アライメント、大規模な実映像データを用いた自己教師付き事前学習を統合することで、FF++データセットで96.9%のAUCを達成し、高い耐障害性と一般化性能を示した。

ABSTRACT

Deepfake technologies empowered by deep learning are rapidly evolving, creating new security concerns for society. Existing multimodal detection methods usually capture audio-visual inconsistencies to expose Deepfake videos. More seriously, the advanced Deepfake technology realizes the audio-visual calibration of the critical phoneme-viseme regions, achieving a more realistic tampering effect, which brings new challenges. To address this problem, we propose a novel Deepfake detection method to mine the correlation between Non-critical Phonemes and Visemes, termed NPVForensics. Firstly, we propose the Local Feature Aggregation block with Swin Transformer (LFA-ST) to construct non-critical phoneme-viseme and corresponding facial feature streams effectively. Secondly, we design a loss function for the fine-grained motion of the talking face to measure the evolutionary consistency of non-critical phoneme-viseme. Next, we design a phoneme-viseme awareness module for cross-modal feature fusion and representation alignment, so that the modality gap can be reduced and the intrinsic complementarity of the two modalities can be better explored. Finally, a self-supervised pre-training strategy is leveraged to thoroughly learn the audio-visual correspondences in natural videos. In this manner, our model can be easily adapted to the downstream Deepfake datasets with fine-tuning. Extensive experiments on existing benchmarks demonstrate that the proposed approach outperforms state-of-the-art methods.

研究の動機と目的

• 臨界音素・ビズムペアを完全に同期させた高度な深造造フェイクを検出する課題に対処すること。
• フォージャーが完全な同期を達成できない、非重要音素・ビズム領域における微細な音声・視覚的不整合を活用すること。
• 新規の音声・ビズム認識モジュールと共分散誘導型表現アライメントにより、マルチモーダル特徴のアライメントを向上させ、モダリティギャップを低減すること。
• 大規模な実映像データを用いた自己教師付き事前学習を実施し、微調整段階で深造造フェイクデータセットに適応させることで、モデルの一般化性能と耐障害性を向上させること。

提案手法

• Swin Transformerを用いた局所的特徴集約モジュール（LFA-ST）は、音声および視覚ストリームから局所的・グローバルな特徴を抽出・保持し、非重要音素・ビズム領域に焦点を当てる。
• 微細な動きの整合性損失を導入し、動画フレーム間における非重要音素とその対応するビズムの進化的整合性を測定する。
• 音声・ビズム認識モジュールにより、動的かつ注意メカニズムに基づく音声・視覚特徴の融合を実現し、内在的なモダリティ補完性を強化する。
• 共分散誘導型表現アライメント（CGRA）モジュールは、音声とビズム表現間の共有統計的依存関係に基づいて特徴をアライメントすることで、モダリティギャップを低減する。
• 大規模な実トーキングフェイス映像データを用いた自己教師付き事前学習戦略を採用し、手動アノテーションなしで頑健な音声・視覚対応関係を学習する。
• モデルは、下流の深造造フェイクデータセットで微調整され、強力なゼロショットおよびクロスデータセット一般化性能を実現する。

Figure 1: This figure displays a challenging Lip-Sync forgery video example. On the left, the first row of video frames is real, while the second row is Deepfake. We observe that the forger has calibrated the phoneme-viseme pairs in critical phoneme regions like ‘m’, ‘b’ and ‘p’. Therefore, the diff

実験結果

リサーチクエスチョン

• RQ1 臨界音素・ビズムペアを完全に同期させた高度な深造造フェイクを検出するため、非重要音素・ビズムペアが信頼できる手がかりとして機能するか？
• RQ2 音声・視覚特徴を効果的に統合・アライメントすることで、深造造フェイク検出における相補的性質を最大限に活かせるか？
• RQ3 大規模な実映像データを用いた自己教師付き事前学習が、下流の深造造フェイクベンチマークにおける検出性能と一般化性能をどの程度向上させるか？
• RQ4 局所的特徴集約と微細な動きの整合性モデリングが、微細な音声・視覚的不整合を検出するために果たす貢献は何か？
• RQ5 提案されたマルチモーダル統合・アライメント機構は、標準的なマルチモーダル統合と比較して、耐障害性と正確性の面で優れているか？

主な発見

• NPVForensicsはFF++データセットで96.9%のAUCを達成し、最先端の手法を上回り、強力なクロスデータセット一般化性能を示した。
• FShデータセットでは96.7%、DFoデータセットでは97.8%のAUCを達成し、多様な深造造フェイク操作タイプにわたり高い耐障害性を示した。
• アブレーションスタディの結果、音声ストリームを除去するとFakeAVCelebで性能が4.6%低下し、音声・視覚的不整合検出の重要性が裏付けられた。
• 共分散誘導型表現アライメント（CGRA）モジュールを除去するとAUCが4.0%向上し、モダリティギャップ低減におけるその役割が明確に示された。
• 32万枚の実映像クリップを用いた自己教師付き事前学習は、50万枚の手動アノテーション付きLRWクリップで事前学習したモデルを上回り、事前学習アプローチの効率性とスケーラビリティを示した。
• LFA-STモジュールはViTおよび標準的なSwin Transformerを上回る性能を発揮し、非重要音素・ビズム領域における微細な局所的相関を効果的に捉える有効性を証明した。

Figure 2: NPVForensics Pipeline. NPVForensics is organized into two stages. The first stage is the pre-training stage. We screen the audio waveform, lip motion stream, and face stream of the real video for non-critical phoneme-viseme, then input them into Swin Transformer Encoder with Local Feature