[論文レビュー] Deep Convolutional Pooling Transformer for Deepfake Detection

Tianyi Wang, Harry H. Cheng+2 more|arXiv (Cornell University)|Sep 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）による局所的特徴抽出と、畳み込みプーリングおよび再注意機構で強化されたグローバルな自己注意メカニズムを組み合わせた深層畳み込みプールing Transformer（DCPT）を提案する。標準的なフレームではなく、高品質なキーフレームを用いることで、複数のベンチマークで最先端の性能を達成し、DF-1.0では浅いモデル比でAUCが11.28%向上し、クロスデータセット一般化性能に優れる。

ABSTRACT

Recently, Deepfake has drawn considerable public attention due to security and privacy concerns in social media digital forensics. As the wildly spreading Deepfake videos on the Internet become more realistic, traditional detection techniques have failed in distinguishing between real and fake. Most existing deep learning methods mainly focus on local features and relations within the face image using convolutional neural networks as a backbone. However, local features and relations are insufficient for model training to learn enough general information for Deepfake detection. Therefore, the existing Deepfake detection methods have reached a bottleneck to further improve the detection performance. To address this issue, we propose a deep convolutional Transformer to incorporate the decisive image features both locally and globally. Specifically, we apply convolutional pooling and re-attention to enrich the extracted features and enhance efficacy. Moreover, we employ the barely discussed image keyframes in model training for performance improvement and visualize the feature quantity gap between the key and normal image frames caused by video compression. We finally illustrate the transferability with extensive experiments on several Deepfake benchmark datasets. The proposed solution consistently outperforms several state-of-the-art baselines on both within- and cross-dataset experiments.

研究の動機と目的

• 既存のdeepfake検出モデルが、局所的特徴や低品質なフレームに依存することで、未観測データセットへの一般化性能に限界を示す問題に対処する。
• 圧縮による劣化が生じる標準的な動画フレーム抽出における画像品質の低下が、特徴の豊かさを制限する問題を克服する。
• 現在の手法であまり活用されていない高解像度で情報が保持されたキーフレームを活用することで、検出性能を向上させる。
• 畳み込みプールと再注意機構を組み合わせた新規なTransformerアーキテクチャにより、長距離依存関係をモデル化し、グローバル特徴学習を強化する。
• 特にクロスデータセット評価設定下において、多様なdeepfakeデータセット間で頑健な転送性能を示すことを実証する。

提案手法

• 動画圧縮に配慮したフレーム選択を用いて、高解像度でアーチファクトのないコンテンツを保持するキーフレームを抽出する。
• 顔画像からの局所的特徴抽出のため、畳み込みニューラルネットワーク（CNN）のスタックを用いる。
• 次元削減を実現するとともに、主要な特徴を保持し、特徴表現を強化するため、畳み込みプールを適用する。
• 深層ネットワークにおける注意マップの収束を防ぐために、Transformerエンコーダーに再注意機構を統合する。
• キーフレームと通常のフレームの両方を用いて学習することで、異なるフレーム品質に対しても頑健性と一般化性能を向上させる。
• 3段階のフェーズを含む深層Transformerアーキテクチャを採用し、各フェーズにプーリング層を組み合わせることで、段階的な階層的グローバル表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 キーフレームは、解像度が高く圧縮アーチファクトが少ないため、ランダムに抽出されたフレームと比較してdeepfake検出性能を顕著に向上させ得るか？
• RQ2 Transformerアーキテクチャに畳み込みプールと再注意機構を統合することで、グローバル特徴学習と検出精度がどのように向上するか？
• RQ3 最先端のベースラインと比較して、提案手法は異なるdeepfakeデータセット間でどの程度一般化性能を示すか（クロスデータセット性能）？
• RQ4 特にクロスデータセット評価において、性能と一般化性能のバランスを最適化するための最適なモデル深さは何か？
• RQ5 個々のモジュール（プール、投影、再注意）は、異なるデータセット上で全体の検出性能にどの程度寄与しているか？

主な発見

• 提案されたDCPTモデルは、浅いモデル（深さ14）と比較して、DFDCで5.8%、Celeb-DFで7.51%、DF-1.0で11.28%のAUC向上を達成し、深さ24で最適性能を示す。
• 深さ24のモデルが最良のクロスデータセット性能を示すが、より深いモデル（深さ32）はDFDC、Celeb-DF、DF-1.0で過学習により性能が低下する。
• 再注意機構がクロスデータセット一般化に最も寄与し、DF-1.0ではAUCを1%以上向上させ、FF++ではわずかな向上を示す。
• 畳み込みプールと投影モジュールは、それぞれFF++で約3%、DF-1.0で最大4%のAUC向上をもたらし、ノイズが多い条件下でも強い頑健性を示す。
• キーフレームと通常のフレームの両方を用いた学習により、両フレームタイプで最適な検出性能を維持でき、モデルの頑健性を確認できる。
• 可視化により、特に顔の幾何学的・テクスチャ的不整合を検出する際、キーフレームは通常のフレームよりも豊富でより特徴的な顔の特徴表現を提供することが確認された。