[论文解读] Generalized Zero and Few-Shot Transfer for Facial Forgery Detection

Shivangi Aneja, Matthias Nießner|arXiv (Cornell University)|Jun 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 6

一句话总结

本文提出了一种名为深度分布迁移（Deep Distribution Transfer, DDT）的新方法，这是一种用于面部伪造检测的零样本和少样本迁移学习方法，通过基于混合模型的损失函数将源域数据建模为多模态分布。通过训练编码器将分布模式映射到真实/伪造标签，并通过模式关联进行迁移，DDT在从 FaceForensics++ 到 Dessa 数据集的迁移任务中，实现了比最先进基线方法高 4.88% 的零样本准确率和高 8.38% 的少样本准确率。

ABSTRACT

We propose Deep Distribution Transfer(DDT), a new transfer learning approach to address the problem of zero and few-shot transfer in the context of facial forgery detection. We examine how well a model (pre-)trained with one forgery creation method generalizes towards a previously unseen manipulation technique or different dataset. To facilitate this transfer, we introduce a new mixture model-based loss formulation that learns a multi-modal distribution, with modes corresponding to class categories of the underlying data of the source forgery method. Our core idea is to first pre-train an encoder neural network, which maps each mode of this distribution to the respective class labels, i.e., real or fake images in the source domain by minimizing wasserstein distance between them. In order to transfer this model to a new domain, we associate a few target samples with one of the previously trained modes. In addition, we propose a spatial mixup augmentation strategy that further helps generalization across domains. We find this learning strategy to be surprisingly effective at domain transfer compared to a traditional classification or even state-of-the-art domain adaptation/few-shot learning methods. For instance, compared to the best baseline, our method improves the classification accuracy by 4.88% for zero-shot and by 8.38% for the few-shot case transferred from the FaceForensics++ to Dessa dataset.

研究动机与目标

• 为解决在无需大量重新训练的情况下检测之前未见过的面部伪造技术的挑战。
• 提升在不同篡改方法和数据集之间面部伪造检测的泛化能力。
• 开发一种在低数据场景下有效的迁移学习框架，特别是零样本和少样本设置。
• 克服传统领域自适应和少样本学习在高视觉相似性二元伪造检测任务中的局限性。

提出的方法

• 提出一种基于混合模型的损失函数，用于学习源域中真实与伪造类别对应的多模态分布。
• 通过最小化 Wasserstein 距离，训练编码器网络将每个分布模式的潜在码映射到相应的类别标签（真实/伪造）。
• 通过将目标域样本与最近的预训练模式关联，实现模型到新域的迁移，从而通过模式接近度实现分类。
• 引入一种空间 Mixup 增强策略，在训练过程中混合源域和目标域的图像，以提升跨域泛化能力。
• 采用两阶段训练流程：首先在源数据上使用分布损失进行预训练，然后在目标数据上使用模式关联进行微调。
• 基于真实与伪造分布之间的 Wasserstein 距离，引入一种对比学习目标，以对齐潜在表示。

实验结果

研究问题

• RQ1 在仅使用零个或少量训练样本的情况下，一个在某种伪造方法上预训练的模型能否有效泛化到之前未见过的篡改技术？
• RQ2 将源域数据建模为多模态分布在面部伪造检测的零样本和少样本迁移中能带来多大提升？
• RQ3 空间 Mixup 增强策略在多大程度上提升了对不同伪造方法和数据集的泛化能力？
• RQ4 在零样本和少样本伪造检测中，DDT 与最先进领域自适应和少样本学习方法相比表现如何？
• RQ5 所提出的基于分布的损失是否在跨域伪造检测中优于标准分类或对比学习方法？

主要发现

• 在从 FaceForensics++ 到 Dessa 数据集的迁移任务中，DDT 的零样本分类准确率比最佳基线高出 4.88%。
• 在少样本设置下，DDT 在同一迁移任务中比最强基线高出 8.38% 的准确率。
• 空间 Mixup 增强策略在 NT-to-DF 和 DF-to-NT 迁移任务中，平均使零样本准确率提升 2.88%，在 NT-to-DF 任务的少样本微调中提升 3.81%。
• 该方法在另外三个数据集（Dessa、Celeb-DF 和 AIF）上均优于所有基线，仅使用 100 张微调图像即分别达到 84.80%、77.07% 和 70.32% 的准确率。
• 所提出的基于分布的损失函数与模式关联策略即使在真实与伪造图像视觉相似度极高的情况下，也能实现有效迁移，优于标准分类和对比学习方法。
• 消融实验表明，空间 Mixup 显著提升了对未见伪造方法的泛化能力，尤其在少样本场景下效果明显，同时对域内性能影响极小。