[論文レビュー] On Improving Cross-dataset Generalization of Deepfake Detectors

Aakash Varma Nadimpalli, Ajita Rattani|arXiv (Cornell University)|Apr 8, 2022

Digital Media Forensic Detection被引用数 4

ひとこと要約

本論文は、画像固有のテスト時データ拡張を適用することで、深層生成偽造検出におけるクロスデータセット一般化を向上させるハイブリッド教師あり強化学習フレームワークを提案する。テスト画像ごとに強化学習エージェントが上位k個の拡張を選択し、それらの畳み込みニューラルネットワーク（CNN）ベースの分類スコアを平均化することで、Celeb-DFで0.669のSOTA AUCを達成し、ベースラインCNNや既存手法に比べて顕著に優れた性能を示した。

ABSTRACT

Facial manipulation by deep fake has caused major security risks and raised severe societal concerns. As a countermeasure, a number of deep fake detection methods have been proposed recently. Most of them model deep fake detection as a binary classification problem using a backbone convolutional neural network (CNN) architecture pretrained for the task. These CNN-based methods have demonstrated very high efficacy in deep fake detection with the Area under the Curve (AUC) as high as 0.99. However, the performance of these methods degrades significantly when evaluated across datasets. In this paper, we formulate deep fake detection as a hybrid combination of supervised and reinforcement learning (RL) to improve its cross-dataset generalization performance. The proposed method chooses the top-k augmentations for each test sample by an RL agent in an image-specific manner. The classification scores, obtained using CNN, of all the augmentations of each test image are averaged together for final real or fake classification. Through extensive experimental validation, we demonstrate the superiority of our method over existing published research in cross-dataset generalization of deep fake detectors, thus obtaining state-of-the-art performance.

研究の動機と目的

• ドメインシフトの影響により、CNNベースの深層生成偽造検出器がクロスデータセット評価で顕著な性能低下を示す問題に対処すること。
• 異なる画像品質や生成技術を有する多様なデータセット間で、深層生成偽造検出モデルのロバスト性と転送性を向上させること。
• テスト時に適応的で画像固有のデータ拡張を学習することで、ドメインシフトの影響を軽減すること。
• クロスデータセットにおける深層生成偽造検出の一般化において、最先端の性能を達成すること。

提案手法

• 強化学習（RL）エージェントが、学習済み方策に基づき各テスト画像に対して上位k個のデータ拡張を選択するように訓練される。
• RLエージェントはQテーブルまたは方策ネットワーク（例：PPO）を用い、検出の信頼性の向上を定義した期待報酬を最大化する拡張を選択する。
• 各テスト画像に対して、複数の拡張版が生成され、それらのCNNベースの分類スコアが平均化され、最終予測が得られる。
• 本手法は訓練後適用であり、任意の事前学習済みCNNバックボーン（例：EfficientNet V2-L、XceptionNet）と互換性がある。
• RLエージェントはソースデータセット（例：FaceForensics++）で訓練され、その後、微調整なしにターゲットデータセット（例：Celeb-DF、DeeperForensics-1.0）に適用される。
• 本手法により、入力の視覚的品質や偽造特徴に応じた画像固有の拡張選択が可能となり、適応的である。

実験結果

リサーチクエスチョン

• RQ1 強化学習でガイドされたテスト時データ拡張は、深層生成偽造検出器のクロスデータセット一般化を改善できるか？
• RQ2 画像固有の拡張選択は、ランダムまたは固定の拡張戦略に比べ、ドメインシフトの影響をより効果的に軽減できるか？
• RQ3 データセット全体で検出性能を最大化するための最適な拡張数（k）は何か？
• RQ4 あるデータセットで学習した方策は、異なる深層生成偽造技術を有する未学習のデータセットに対しても効果的に一般化できるか？

主な発見

• 提案手法はCeleb-DFでAUC 0.669を達成し、ベースラインCNNより0.018向上させ、クロスデータセット評価において最先端の性能を示した。
• 上位3つの拡張が最良の性能を示し、FaceForensics++ではAUC 0.994、Celeb-DFではAUC 0.669を記録した。これにより、最適なk=3が確認された。
• Celeb-DFにおけるEERは0.362に低下し、ベースラインCNNより0.021減少し、より高いロバスト性を示した。
• アブレーションスタディの結果、体系的なRLベースの拡張選択が、ランダムまたは固定の拡張戦略を上回ることを確認した。
• FaceForensics++で学習した方策は、Celeb-DFおよびDeeperForensics-1.0へも効果的に一般化され、データセット間での転送性が確認された。
• 内挿データセットでのAUCが0.994に達する一方で、ベースラインCNNはCeleb-DFにまで低下して0.482にまで下がった。これは、クロスデータセット一般化の重要性を強く示している。