[論文レビュー] Generalizing Face Forgery Detection with High-frequency Features

Yuchen Luo, Yong Zhang+2 more|arXiv (Cornell University)|Mar 23, 2021

Digital Media Forensic Detection参考文献 59被引用数 23

ひとこと要約

本稿では、CNNベースの検出器が特定の合成手法に過剰適合するのを防ぐために、高周波成分の画像ノイズを活用する汎用性の高いフェイク顔検出手法を提案する。マルチスケールの高周波特徴抽出モジュール、リーマンガイド付き空間的アテンション、RGBとノイズ特徴間のクロスモダリティアテンションを導入することで、モデルは最先端の汎用性性能を達成し、CelebDFでは前人を15%以上上回るAUCを達成。FF++（LQ）では98.6%の精度を達成した。

ABSTRACT

Current face forgery detection methods achieve high accuracy under the within-database scenario where training and testing forgeries are synthesized by the same algorithm. However, few of them gain satisfying performance under the cross-database scenario where training and testing forgeries are synthesized by different algorithms. In this paper, we find that current CNN-based detectors tend to overfit to method-specific color textures and thus fail to generalize. Observing that image noises remove color textures and expose discrepancies between authentic and tampered regions, we propose to utilize the high-frequency noises for face forgery detection. We carefully devise three functional modules to take full advantage of the high-frequency features. The first is the multi-scale high-frequency feature extraction module that extracts high-frequency noises at multiple scales and composes a novel modality. The second is the residual-guided spatial attention module that guides the low-level RGB feature extractor to concentrate more on forgery traces from a new perspective. The last is the cross-modality attention module that leverages the correlation between the two complementary modalities to promote feature learning for each other. Comprehensive evaluations on several benchmark databases corroborate the superior generalization performance of our proposed method.

研究の動機と目的

• トレーニングとテストで異なる合成手法が用いられるクロスデータベース環境において、CNNベースの顔偽造検出器が一般化に失敗する問題を解決すること。
• 既存の検出器がなぜ特定の手法に依存する色のテクスチャに過剰適合し、未観測の偽造に対して失敗するかを解明すること。
• 色のテクスチャを抑制し、偽造アーティファクトを露呈させる高周波成分の画像ノイズを活用することで、耐障害性を向上させること。
• RGBテクスチャと高周波ノイズ特徴をアテンション機構を介して共同で学習するデュアルモダリティネットワークを設計すること。
• ドメイン特化のファインチューニングや膨大なアノテーションを必要とせず、クロスデータベースベンチマークで優れた性能を達成すること。

提案手法

• 入力画像に加えて、複数スケールの低レベル特徴に対してもSRMベースのハイパスフィルタを適用することで、豊富なノイズベースのモダリティを生成するマルチスケールの高周波特徴抽出モジュールを提案する。
• リーマンマップを用いて、RGB特徴抽出器が偽造痕跡に注目する新たな識別的視点を提供するリーマンガイド付き空間的アテンションモジュールを導入する。
• RGB特徴と高周波ノイズ特徴の相関関係をモデル化することで、相互に表現学習を強化するデュアルクロスモダリティアテンションモジュールを設計する。
• 最終分類のためのクロスアテンションによる特徴統合を実現するため、RGBと高周波ノイズモダリティを別々に処理する二ストリームネットワークアーキテクチャを採用する。
• FF++データセットの高品質（HQ）および低品質（LQ）バージョンをエンドツーエンドでトレーニングし、F2F や BI のような未観測データセットでの評価を実施する。
• 標準的な指標（正確度、AUC）を用いて評価し、各モジュールの寄与度を検証するためのアブレーションスタディを実施する。

Figure 1 : Training and testing forgeries of within-database detection are synthesized by the same algorithm while those of cross-database detection are synthesized by different algorithms. We focus on the latter which is more challenging.

実験結果

リサーチクエスチョン

• RQ1 なぜCNNベースの顔偽造検出器は、異なる改ざんアルゴリズム間で一般化に失敗するのか？
• RQ2 高周波成分の画像ノイズは、特定手法に依存する色のテクスチャを効果的に抑制し、一貫した偽造アーティファクトを露呈させることができるか？
• RQ3 高周波特徴を効果的に抽出し、RGB特徴と統合することで、検出の耐障害性を向上させられるか？
• RQ4 RGB特徴とノイズ特徴間のクロスモダリティアテンションがモデルの一般化性能に与える影響は何か？
• RQ5 1つのデータセットでトレーニングされた統合モデルは、ファインチューニングなしで多様で未観測の偽造に対して優れた性能を発揮できるか？

主な発見

• FF++（LQ）データセットでは98.6%の正確度を達成し、F3Net（98.0%）や他の高周波特徴ベース手法を上回った。
• CelebDFベンチマークではAUCが0.794を達成し、FFD（0.644）やFWA（0.538）を15ポイント以上上回った。
• F2F（HQ）テストセットでは99.2%、FS（HQ）セットでは86.7%の正確度を達成し、マルチタスク学習ベースラインのForensicTrans（72.6%および94.5%）を上回った。
• アブレーションスタディにより、マルチスケールの高周波抽出、リーマンガイド付きアテンション、クロスモダリティアテンションの各モジュールが性能向上に顕著な寄与をしていることが確認された。
• Grad-CAM可視化では、モデルが異なる偽造に対して一貫した偽造痕跡（例：口元領域）に注目しているのに対し、ベースラインモデルは特定のテクスチャに過剰適合していることが示された。
• F2F、DF、FS、CelebDFなど多様なデータベースにわたって良好な一般化性能を示し、未観測の改ざん手法に対しても耐障害性があることが実証された。

Figure 2 : Grad-CAM maps from the Xception model trained on F2F forgeries. Numbers in the bracket denote the probability of being classified as fake. The mouth region is especially highlighted in F2F images, indicating that the model learns F2F’s specific texture. But when evaluated on unseen forger