[论文解读] ForensicTransfer: Weakly-supervised Domain Adaptation for Forgery Detection

Davide Cozzolino, Justus Thies+4 more|arXiv (Cornell University)|Dec 6, 2018

Digital Media Forensic Detection参考文献 57被引用 220

一句话总结

ForensicTransfer 引入基于自编码器的嵌入，能够将真实/伪造表示解耦，从而在未见伪造方法上实现强零样本和少样本转移，在有限的目标域数据下优于最先进的检测器。

ABSTRACT

Distinguishing manipulated from real images is becoming increasingly difficult as new sophisticated image forgery approaches come out by the day. Naive classification approaches based on Convolutional Neural Networks (CNNs) show excellent performance in detecting image manipulations when they are trained on a specific forgery method. However, on examples from unseen manipulation approaches, their performance drops significantly. To address this limitation in transferability, we introduce Forensic-Transfer (FT). We devise a learning-based forensic detector which adapts well to new domains, i.e., novel manipulation methods and can handle scenarios where only a handful of fake examples are available during training. To this end, we learn a forensic embedding based on a novel autoencoder-based architecture that can be used to distinguish between real and fake imagery. The learned embedding acts as a form of anomaly detector; namely, an image manipulated from an unseen method will be detected as fake provided it maps sufficiently far away from the cluster of real images. Comparing to prior works, FT shows significant improvements in transferability, which we demonstrate in a series of experiments on cutting-edge benchmarks. For instance, on unseen examples, we achieve up to 85% in terms of accuracy, and with only a handful of seen examples, our performance already reaches around 95%.

研究动机与目标

• 应对新图像伪造方法的快速出现，通过提高伪造检测器的可迁移性。
• 开发一个弱监督的基于自编码器的检测器，在潜在空间中解耦真实/伪造表示。
• 使对未见操控的零样本和少样本自适应在最少带标签目标数据下实现。
• 展示所提方法在不同数据集上实现最先进的转移性能。

提出的方法

• 提出一个编码器–解码器（自编码器）架构，用于学习真实与伪造图像的法医学嵌入。
• 将潜在空间分成两个不相交的部分 h0（真实）和 h1（伪造），训练使每个类别仅激活相应的部分。
• 使用重构损失 L_REC 来保留潜在空间中的信息，并使用激活损失 L_ACT 来在潜在空间中强化类别特定的激活（a0 或 a1）。
• 将类别激活 a_c(x) 计算为相应潜在部分的 L1 范数，通过比较 a0(x) 和 a1(x) 来进行分类。
• 使用高通残差（三阶导数）对输入进行预处理，以增强伪造线索。
• 在少量目标域数据集上微调源域训练的模型，以实现快速自适应（少样本/零样本）。
• 使用 Adam（学习率 lr=0.001）、批量大小 64 进行训练，监控验证损失，在无改进的情况下在 30 个 epoch 后停止。

实验结果

研究问题

• RQ1 潜在空间解耦的自编码器是否可以提高伪造检测器对未见操控方法的转移能力？
• RQ2 在新的操控域中，多少个带标签的目标域样本就足以实现高准确度？
• RQ3 对每个类别约束潜在激活是否可降低类内方差并提升跨域泛化？
• RQ4 基于残差的预处理对转移性能有何影响？
• RQ5 在零样本和少样本情境下，ForensicTransfer 与现有基于 CNN 的检测器相比如何？

主要发现

方法	源域 (S) 准确率	目标域 (T) 准确率
Bayar16/Constrained CNN	99.92	50.42
Cozzolino12/Residual CNN	99.92	52.43
Rahmouni17/CG-generated	100.0	49.87
MesoInc.3/Deep forgery detector	97.47	44.19
XceptionNet	100.0	58.79
FT (ForensicTransfer)	100.0	85.00

• ForensicTransfer 在未见 manipulations 上达到高准确度，零样本转移下最高可达 85%，在少量目标域样本时约 95%。
• 消融研究表明，去除残差预处理、重构损失或使用交叉熵损失会降低转移性能，证实了设计选择。
• 所提出的基于激活的损失降低了类内方差并提高了对新操控域的泛化。
• 零样本和少样本转移在多个源-目标域配对上优于基线 CNN 检 detector。
• 多源训练（多到一的转移）进一步提升目标域检测效果，相较单一源设置有增益，特别是在低样本情形下。