[论文解读] FReTAL: Generalizing Deepfake Detection using Knowledge Distillation and Representation Learning

Minha Kim, Shahroz Tariq+1 more|arXiv (Cornell University)|May 28, 2021

Generative Adversarial Networks and Image Synthesis参考文献 70被引用 5

一句话总结

FReTAL 提出了一种基于知识蒸馏与表示学习的域适应框架，用于深度伪造检测，通过将预训练教师模型的特征迁移至学生模型，避免灾难性遗忘，且无需使用源域数据。该方法在低质量深度伪造检测中准确率最高达 86.97%，在零样本和微调设置下均优于基线模型。

ABSTRACT

As GAN-based video and image manipulation technologies become more sophisticated and easily accessible, there is an urgent need for effective deepfake detection technologies. Moreover, various deepfake generation techniques have emerged over the past few years. While many deepfake detection methods have been proposed, their performance suffers from new types of deepfake methods on which they are not sufficiently trained. To detect new types of deepfakes, the model should learn from additional data without losing its prior knowledge about deepfakes (catastrophic forgetting), especially when new deepfakes are significantly different. In this work, we employ the Representation Learning (ReL) and Knowledge Distillation (KD) paradigms to introduce a transfer learning-based Feature Representation Transfer Adaptation Learning (FReTAL) method. We use FReTAL to perform domain adaptation tasks on new deepfake datasets while minimizing catastrophic forgetting. Our student model can quickly adapt to new types of deepfake by distilling knowledge from a pre-trained teacher model and applying transfer learning without using source domain data during domain adaptation. Through experiments on FaceForensics++ datasets, we demonstrate that FReTAL outperforms all baselines on the domain adaptation task with up to 86.97% accuracy on low-quality deepfakes.

研究动机与目标

• 解决在新型、未见过的深度伪造生成方法上进行深度伪造检测泛化的问题。
• 缓解在出现新型深度伪造类型时域适应过程中的灾难性遗忘问题。
• 实现在社交媒体中常见的低质量深度伪造检测，且不依赖高质量训练数据。
• 开发一种迁移学习框架，仅使用极少目标域数据即可快速适应新型深度伪造数据集。
• 确保在低质量深度伪造场景下的鲁棒性与高性能，此类场景在现实世界中普遍存在。

提出的方法

• 采用教师-学生蒸馏框架，使学生模型从教师模型的软标签和中间特征表示中学习。
• 整合基于特征的表示学习（FSL），对齐源域与目标域的特征，提升域迁移效果。
• 应用知识蒸馏损失（KD loss），在无法访问源域数据的情况下，将知识从教师模型迁移到学生模型。
• 使用预训练的 Xception 主干网络进行特征提取，并仅使用 10 个目标域样本对学生模型进行微调。
• 通过蒸馏与表示对齐，保留教师模型的知识，从而最小化灾难性遗忘。
• 使用交叉熵损失对目标标签进行训练，同时结合教师输出的 KD 损失，双损失联合优化以提升泛化能力。

实验结果

研究问题

• RQ1 知识蒸馏与表示学习是否能联合提升无源域数据访问条件下的深度伪造检测域适应性能？
• RQ2 与零样本和微调基线相比，FReTAL 在低质量深度伪造检测中的有效性如何？
• RQ3 在适应新型深度伪造生成方法时，FReTAL 在多大程度上能有效防止灾难性遗忘？
• RQ4 仅使用 10 个目标域样本，学生模型是否能在 FReTAL 框架下实现高性能？
• RQ5 FSL 与 KD 损失的结合是否显著优于标准 KD 或微调方法？

主要发现

• FReTAL 在低质量深度伪造检测中准确率最高达 86.97%，显著优于零样本和微调基线方法。
• 该方法通过从预训练教师模型向学生模型有效迁移知识，且无需使用源域数据，从而有效缓解了灾难性遗忘。
• Xception + FReTAL 的性能优于 Xception + 仅 KD，证明了基于特征的表示学习组件的必要性。
• 即使仅使用 10 个目标域样本，FReTAL 仍能实现优异性能，表明其具有高度的数据效率。
• 该框架对未见过的深度伪造类型泛化能力良好，尤其在多数现有模型失效的低质量场景中表现突出。
• 在低质量深度伪造检测中，准确率在许多情况下仍低于 90%，表明通过超分辨率等数据增强技术仍有改进空间。