[论文解读] Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection

Chuangchuang Tan, Ping Liu+5 more|arXiv (Cornell University)|Mar 11, 2024

Digital Media Forensic Detection被引用 4

一句话总结

本文提出数据无关算子（DIO），一种无需训练的方法，通过使用固定的手动设计滤波器或随机初始化的卷积层，提取可泛化的伪造痕迹表征，用于深度伪造检测。通过抑制内容信息并聚焦于跨域伪造痕迹，DIO在33个未见过的生成模型（包括DALL·E和Midjourney）上实现了最先进性能——平均准确率提升13.3%，且无需模型微调或大规模预训练。

ABSTRACT

Recently, the proliferation of increasingly realistic synthetic images generated by various generative adversarial networks has increased the risk of misuse. Consequently, there is a pressing need to develop a generalizable detector for accurately recognizing fake images. The conventional methods rely on generating diverse training sources or large pretrained models. In this work, we show that, on the contrary, the small and training-free filter is sufficient to capture more general artifact representations. Due to its unbias towards both the training and test sources, we define it as Data-Independent Operator (DIO) to achieve appealing improvements on unseen sources. In our framework, handcrafted filters and the randomly-initialized convolutional layer can be used as the training-free artifact representations extractor with excellent results. With the data-independent operator of a popular classifier, such as Resnet50, one could already reach a new state-of-the-art without bells and whistles. We evaluate the effectiveness of the DIO on 33 generation models, even DALLE and Midjourney. Our detector achieves a remarkable improvement of $13.3\%$, establishing a new state-of-the-art performance. The DIO and its extension can serve as strong baselines for future methods. The code is available at \url{https://github.com/chuangchuangtan/Data-Independent-Operator}.

研究动机与目标

• 解决深度伪造检测器在面对未见生成模型时泛化能力不足的问题。
• 开发一种与训练数据分布无关的源不变表征提取器。
• 减少对大规模预训练模型或复杂数据增强技术在伪造痕迹表征学习中的依赖。
• 实现在极低计算成本下、无需模型微调的高性能检测。

提出的方法

• DIO框架采用固定滤波器——无论是手工设计的还是随机初始化的卷积层——在训练过程中保持不变，确保数据无关性。
• 这些滤波器抑制图像内容信息，突出低级伪造痕迹，使检测器能聚焦于伪造线索而非内容特异性模式。
• 该方法作为分类器（如ResNet50）上游的特征提取器使用，无需对源域进行任何适应。
• 多DIO（MDIO）扩展通过组合多种不同类型的滤波器，提升表征多样性与检测鲁棒性。
• 该方法与网络架构无关，可集成于任意主干网络，包括ResNet50和Xception。
• 该框架在包含33个生成模型（涵盖GAN和扩散模型）的综合性基准上进行了端到端评估。

实验结果

研究问题

• RQ1 无训练、固定滤波机制能否比学习型方法提取出更具泛化能力的伪造痕迹表征？
• RQ2 数据无关算子是否能提升深度伪造检测在未见生成模型上的零样本泛化能力？
• RQ3 随机初始化的卷积层在伪造检测中能否作为有效且源无关的特征提取器？
• RQ4 在多种生成模型上，DIO框架与最先进方法相比，在准确率与参数效率方面表现如何？

主要发现

• DIO方法在AIGCDetectBenchmark上实现了94.6%的新SOTA平均准确率，较UnivFD高出13.3个百分点。
• MDIO在仅使用ProGAN生成图像进行训练的情况下，较CNNDet提升21.42%，较RPTC提升2.9%。
• 该方法在扩散模型（如DALL·E和Midjourney）上也表现出良好泛化能力，MDIO在未见扩散数据上较DIRE-G高出23.52%，较DIRE-D高出20.67%。
• 性能在不同随机种子下保持稳定，平均准确率在91.1%至93.7%之间，证实其鲁棒性。
• DIO框架以不到UnivFD十分之一的参数量实现SOTA性能，展现出极高效率。
• t-SNE可视化结果表明，DIO学习到了源不变表征，即使仅在单一源上训练，也能有效检测来自多样化领域的伪造图像。