[論文レビュー] AVTENet: A Human-Cognition-Inspired Audio-Visual Transformer-Based Ensemble Network for Video Deepfake Detection

Ammarah Hashmi, Sahibzada Adil Shahzad+3 more|arXiv (Cornell University)|Oct 19, 2023

Digital Media Forensic Detection被引用数 5

ひとこと要約

本稿では、視覚的・聴覚的・視聴覚的特徴を同時に分析することで、深フェイク動画を検出する、新しい音声視覚変換器ベースのアンサンブルネットワークAVTENetを提案する。複数の純粋な変換器モデルを活用することで、FakeAVCeleb Testset-IIで99%の精度を達成し、従来の単モダリティ、マルチモダリティ、アンサンブル手法を上回る性能を発揮した。これは、アンサンブル学習によるモダリティ固有の表現の有効な統合に起因する。

ABSTRACT

The recent proliferation of hyper-realistic deepfake videos has drawn attention to the threat of audio and visual forgeries. Most previous studies on detecting artificial intelligence-generated fake videos only utilize visual modality or audio modality. While some methods exploit audio and visual modalities to detect forged videos, they have not been comprehensively evaluated on multimodal datasets of deepfake videos involving acoustic and visual manipulations, and are mostly based on convolutional neural networks with low detection accuracy. Considering that human cognition instinctively integrates multisensory information including audio and visual cues to perceive and interpret content and the success of transformer in various fields, this study introduces the audio-visual transformer-based ensemble network (AVTENet). This innovative framework tackles the complexities of deepfake technology by integrating both acoustic and visual manipulations to enhance the accuracy of video forgery detection. Specifically, the proposed model integrates several purely transformer-based variants that capture video, audio, and audio-visual salient cues to reach a consensus in prediction. For evaluation, we use the recently released benchmark multimodal audio-video FakeAVCeleb dataset. For a detailed analysis, we evaluate AVTENet, its variants, and several existing methods on multiple test sets of the FakeAVCeleb dataset. Experimental results show that the proposed model outperforms all existing methods and achieves state-of-the-art performance on Testset-I and Testset-II of the FakeAVCeleb dataset. We also compare AVTENet against humans in detecting video forgery. The results show that AVTENet significantly outperforms humans.

研究の動機と目的

• 動画の声と顔を同時に操作するハイパーリアリスティックな音声視覚的深フェイクの増加する脅威に対処すること。
• 従来の単モダリティ深フェイク検出手法が、クロスモダリティの操作を検出できないという限界を克服すること。
• 視覚的および聴覚的偽造を同時に検出可能なマルチモダリティ、変換器ベースのアンサンブルフレームワークを開発すること。
• 音声および動画ストリームにおける多様な操作技術を含む包括的なベンチマークデータセット上でモデルを評価すること。
• 将来の深フェイク検出研究に向けたスケーラブルで自己教師付き学習と互換性を持つアーキテクチャを確立すること。

提案手法

• フレームワークは、音声専用モデル（ASTベースのAN）、動画専用モデル（ViViTベースのVN）、音声視覚統合モデル（AV-HuBERTベースのAVN）という3つの異なる変換器ベースのモデルを統合し、モダリティ固有の表現を抽出する。
• 各コンポonentモデルは、音声および動画ストリームからの空間的・時間的・スペクトル的特徴を捕捉できる大規模な自己教師付きデータセットで事前学習される。
• アンサンブル戦略は、予測を早期統合と一致投票によって統合することで、耐性および検出精度を向上させる。
• AVNコンポーネントはAV-HuBERTを用いて共同音声視覚埋め込みを抽出するが、著者らは、唇領域以外の視覚的文脈を十分に捉えられていないため、性能が劣ると指摘している。
• モデルは、顔の交換、fsgan、RTVCを含む多様な深フェイク操作を含むFakeAVCelebデータセット上で訓練および評価される。
• ハイパーパramータチューニングおよびアブレーションスタディが実施され、各コンポーネントの寄与度を分析し、アンサンブル性能を最適化する。

Figure 1: An example of audio-visual deepfakes. Cyber-attackers aim to create convincing counterfeit videos by manipulating audio and visual streams. Sharing such malicious content can have harmful consequences. Therefore, our proposed method exploits manipulations in both audio and visual streams t

実験結果

リサーチクエスチョン

• RQ1 複雑で現実的である音声視覚的深フェイクデータセットにおいて、マルチモダリティの変換器ベースのアンサンブルモデルは、従来の単モダリティおよびマルチモダリティの深フェイク検出手法を上回ることができるか？
• RQ2 音声、動画、音声視覚統合のための純粋な変換器ベースのモデルの統合は、CNNベースのベースラインと比較して、検出精度をどのように向上させるか？
• RQ3 AST、ViViT、AV-HuBERTなどの異なる事前学習モデルは、顔の交換やボイスクローンなど、さまざまな種類の音声視覚的操作を検出するために、どの程度寄与するか？
• RQ4 なぜAV-HuBERTベースのAVNコンポーネントは視覚的に操作された偽物動画では性能が劣るのか？また、これをどのように是正できるか？
• RQ5 専門的な変換器モデルのアンサンブルは、多様な深フェイク生成技術にわたる優れた汎化性および耐性を達成できるか？

主な発見

• AVTENetは、FakeAVCelebデータセットのTestset-IIでSOTAの99%の検出精度を達成し、従来の手法を著しく上回った。
• 同じベンチマークにおいて、VGG16（81%）、Xception（76%）、Lip Forensics（76%）を含む、すべてのベースライン単モダリティおよびマルチモダリティアプローチを上回った。
• AST、ViViT、AV-HuBERTコンポーネントを組み合わせたアンサンブルモデル（AVTENet_ff）が最高の性能を発揮し、マルチエキスパート学習の有効性を示した。
• AV-HuBERTベースのAVNコンポーネントは、視覚的に操作された動画（例：faceswap）では性能が劣る。これは、唇領域以外の視覚的手がかりを捉えていないためである。
• AVNコンポーネントでAV-HuBERTをASTおよびViViTに置き換えると性能が悪化した。これは、統合モデルにおいて冗長性が生じ、補完的情報が欠落していることを示唆している。
• アブレーションスタディにより、アンサンブル戦略が、音声のみや視覚のみの偽造を含む多様な操作タイプにわたる耐性および汎化性の向上を確認した。

Figure 2: Illustrations of the audio and visual streams of some samples selected from the FakeAVCeleb Dataset, where real streams are indicated in green, and fake ones are indicated in red.