[論文レビュー] Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection

Chuangchuang Tan, Ping Liu+5 more|arXiv (Cornell University)|Mar 11, 2024

Digital Media Forensic Detection被引用数 4

ひとこと要約

本論文は、トレーニング不要のデータ独立型演算子（DIO）を提案する。DIOは、固定された手作業で設計されたフィルターやランダムに初期化された畳み込み層を用いて、深人造成検出のための汎用的なアーティファクト表現を抽出する。コンテンツを抑制し、クロスドメインのアーティファクトに注目することで、微調整や大規模事前学習を必要とせず、DALL·E や Midjourney を含む33の未学習生成モデルに対して、平均正答率13.3%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Recently, the proliferation of increasingly realistic synthetic images generated by various generative adversarial networks has increased the risk of misuse. Consequently, there is a pressing need to develop a generalizable detector for accurately recognizing fake images. The conventional methods rely on generating diverse training sources or large pretrained models. In this work, we show that, on the contrary, the small and training-free filter is sufficient to capture more general artifact representations. Due to its unbias towards both the training and test sources, we define it as Data-Independent Operator (DIO) to achieve appealing improvements on unseen sources. In our framework, handcrafted filters and the randomly-initialized convolutional layer can be used as the training-free artifact representations extractor with excellent results. With the data-independent operator of a popular classifier, such as Resnet50, one could already reach a new state-of-the-art without bells and whistles. We evaluate the effectiveness of the DIO on 33 generation models, even DALLE and Midjourney. Our detector achieves a remarkable improvement of $13.3\%$, establishing a new state-of-the-art performance. The DIO and its extension can serve as strong baselines for future methods. The code is available at \url{https://github.com/chuangchuangtan/Data-Independent-Operator}.

研究の動機と目的

• 未学習の生成モデルに直面した際の深人造成検出器の一般化の欠如に対処すること。
• トレーニングデータの分布に依存しない、ソース不変の表現抽出器を開発すること。
• アーティファクト表現学習に大規模事前学習モデルや広範なデータ拡張に依存することを減らすこと。
• 最小限の計算コストとモデル微調整なしに、高性能な検出を可能にすること。

提案手法

• DIOフレームワークは、トレーニング中に変更されない固定フィルター（手作業で設計されたものまたはランダムに初期化された畳み込み層）を採用し、データ独立性を確保する。
• これらのフィルターは画像のコンテンツを抑制し、低レベルのアーティファクトに注目することで、検出器がコンテンツ固有のパターンではなく、偽造の兆候に集中できるようにする。
• 分類器（例：ResNet50）の上流に特徴抽出器として適用され、ソースドメインに合わせた適応を一切必要としない。
• 複数のDIO（MDIO）は、異なる種類のフィルターを組み合わせることで表現の多様性と検出のロバスト性を向上させる。
• アーキテクチャに依存しないアプローチであり、ResNet50 や Xception を含む任意のバックボーンネットワークに統合可能である。
• 本フレームワークは、GAN や拡散モデルを含む33の生成モデルをカバーする包括的なベンチマークでエンドツーエンド評価された。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要で固定フィルターを用いる手法が、学習ベースのアプローチよりもより汎用的なアーティファクト表現を抽出できるか？
• RQ2 データに依存しない演算子が、未学習の生成モデルへのゼロショット一般化を深人造成検出で向上させるか？
• RQ3 ランダムに初期化された畳み込み層が、偽造検出において効果的でソースに依存しない特徴抽出器として十分に機能するか？
• RQ4 多様な生成モデルにおいて、DIOフレームワークは最先端手法と比較して、正答率とパラメータ効率の両面でどのように優れているか？

主な発見

• DIOは、AIGCDetectBenchmark上で平均正答率94.6%という新たなSOTAを達成し、UnivFDを13.3ポイント上回った。
• MDIOは、ProGANで生成された画像でのみ学習されたにもかかわらず、CNNDetに対して21.42%、RPTCに対して2.9%の向上を達成した。
• 本手法は、DALL·E や Midjourney などの拡散ベースのモデルに対しても効果的に一般化され、MDIOは未学習の拡散データにおいてDIRE-Gを23.52%、DIRE-Dを20.67%上回った。
• 異なるランダムシードでも性能が安定しており、平均正答率は91.1%から93.7%の間で変動し、ロバスト性が確認された。
• DIOフレームワークは、UnivFDの10分の1未満のパラメータ数でSOTAを達成し、高い効率性を示した。
• t-SNE可視化により、DIOがソース不変の表現を学習していることが確認され、単一のソースで学習した場合でも、多様なドメインからの偽造画像を検出可能であることが示された。