[論文レビュー] Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

Liang Chen, Yong Zhang+3 more|arXiv (Cornell University)|Mar 23, 2022

Digital Media Forensic Detection被引用数 14

ひとこと要約

本稿では、深偽造検出のための自己教師付き敵対的増幅フレームワークを提案する。この手法は、動的に多様で挑戦的な偽造を生成し、検出器に偽造設定（領域、ブレンドタイプ、比率）を予測させることで、モデルの一般化性能を向上させる。本手法は、複数の未観測データセットにおいて最先端の性能を達成し、敵対的増幅と自己教師付きタスクを通じて、既存のベースラインを著しく上回る。

ABSTRACT

Recent studies in deepfake detection have yielded promising results when the training and testing face forgeries are from the same dataset. However, the problem remains challenging when one tries to generalize the detector to forgeries created by unseen methods in the training dataset. This work addresses the generalizable deepfake detection from a simple principle: a generalizable representation should be sensitive to diverse types of forgeries. Following this principle, we propose to enrich the "diversity" of forgeries by synthesizing augmented forgeries with a pool of forgery configurations and strengthen the "sensitivity" to the forgeries by enforcing the model to predict the forgery configurations. To effectively explore the large forgery augmentation space, we further propose to use the adversarial training strategy to dynamically synthesize the most challenging forgeries to the current model. Through extensive experiments, we show that the proposed strategies are surprisingly effective (see Figure 1), and they could achieve superior performance than the current state-of-the-art methods. Code is available at \url{https://github.com/liangchen527/SLADD}.

研究の動機と目的

• 異なるデータセットや手法から得られる未観測の偽造に対して、深偽造検出器の一般化性能が低いという課題に対処すること。
• 固定された経験的手法に依存する既存のデータ増幅戦略が、多様性に欠けるという限界を克服すること。
• 自己教師付き設定予測タスクを通じて、多様な偽造タイプに対する感度を強化することで、検出器の頑健性を向上させること。
• 現在の検出器に対して最も挑戦的な偽造を生成する動的で敵対的な訓練戦略を開発すること。

提案手法

• 多様なプールからランダムに偽造設定（領域、ブレンドタイプ、ブレンド比率）をサンプリングすることで、合成ネットワークを用いて敵対的偽造を生成する。
• 二値分類（本物／偽物）を実行する検出器を訓練する一方で、偽造設定の予測も行い、領域マスク推定、ブレンドタイプ予測、ブレンド比率回帰の3つの自己教師付きタスクを導入する。
• 検出器の性能に基づいて、反復的に合成ネットワークを更新する敵対的訓練を採用し、次第に困難な偽造を生成するようにする。
• 主な分類損失と補助的な自己教師付き損失を組み合わせた統合損失関数を用いて、マルチタスク学習を統合する。
• 高精細な偽造を合成するため、GANベースの生成器を用い、設定を学習可能なパラメータで制御することで、多様で現実的な増幅を可能にする。
• トレーニングにはFaceForensics++データセットを、評価にはCelebDF、DFDC、DF1.0を含む未観測のベンチマークを適用する。

実験結果

リサーチクエスチョン

• RQ1 動的に困難な偽造を生成する敵対的データ増幅は、未観測のデータセットや手法における深偽造検出器の一般化性能を向上させることができるか？
• RQ2 偽造領域、ブレンドタイプ、ブレンド比率の自己教師付き設定予測は、検出器の頑健性と特徴一般化を向上させるのにどの程度効果的か？
• RQ3 敵対的訓練によるデータ増幅は、固定された経験的手法に依存する増幅よりも、深偽造検出において優れているか？
• RQ4 自己教師付き補助タスクが、単一の二値分類損失に依存する場合と比較して、検出器性能にどの程度寄与するか？
• RQ5 合成器ベースの敵対的増幅戦略は、検出器のバイアスを低減し、未観測の偽造に対するゼロショット一般化を向上させることができるか？

主な発見

• 本手法は、未観測データセットでベースラインのXceptionモデルと比較して4%の性能向上を達成し、強力な一般化性能を示した。
• 敵対的増幅を単独で使用した場合（Xception w/ adv）でも、ベースラインから4%の顕著な向上が得られ、動的でモデル駆動のデータ増幅の有効性が裏付けられた。
• 敵対的増幅をランダムな画像操作に置き換えると、性能が著しく低下し、本手法の成功には敵対的訓練が不可欠であることが証明された。
• 領域、タイプ、比率予測の3つの自己教師付きタスクのいずれかを除外すると、性能低下が顕著に観察され、それらが個別および統合的に寄与していることが確認された。
• 手作業で設計された特徴や固定された増幅に依存する最先端の検出器と比較しても、本手法は特にCelebDFやDFDCのようなベンチマークで優れた性能を示した。
• アブレーションスタディの結果、敵対的増幅とマルチタスク自己教師付き学習の組み合わせが最良の一般化をもたらし、全モデルがすべてのテストセットで優れた正確性を達成した。