[论文解读] DefakeHop: A Light-Weight High-Performance Deepfake Detector

Hong-Shuo Chen, Mozhdeh Rouhsedaghat+4 more|arXiv (Cornell University)|Mar 11, 2021

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 13

一句话总结

DefakeHop 是一种轻量级、高性能的深度伪造检测方法，通过像素Hop++的连续子空间学习和一种新型特征蒸馏模块，从面部区域提取紧凑且具有判别性的特征。仅使用42,845个参数，它在UADFV、Celeb-DF v1和Celeb-DF v2数据集上分别实现了100%、94.95%和90.56%的SOTA AUC分数，同时所需训练数据极少，并支持移动端部署。

ABSTRACT

A light-weight high-performance Deepfake detection method, called DefakeHop, is proposed in this work. State-of-the-art Deepfake detection methods are built upon deep neural networks. DefakeHop extracts features automatically using the successive subspace learning (SSL) principle from various parts of face images. The features are extracted by c/w Saab transform and further processed by our feature distillation module using spatial dimension reduction and soft classification for each channel to get a more concise description of the face. Extensive experiments are conducted to demonstrate the effectiveness of the proposed DefakeHop method. With a small model size of 42,845 parameters, DefakeHop achieves state-of-the-art performance with the area under the ROC curve (AUC) of 100%, 94.95%, and 90.56% on UADFV, Celeb-DF v1 and Celeb-DF v2 datasets, respectively.

研究动机与目标

• 开发一种适用于移动端部署、计算成本极低的轻量级深度伪造检测系统。
• 克服大型深度学习模型的局限性，包括高参数量和高昂的训练成本，同时保持高检测准确率。
• 通过连续子空间学习和空频特征蒸馏，提升深度伪造检测的特征表示能力。
• 在不牺牲性能的前提下，减少所需训练样本数量，实现更快、更高效的模型训练。
• 使用非深度学习方法在基准数据集上实现SOTA检测性能。

提出的方法

• DefakeHop 基于连续子空间学习（SSL）原理，采用PixelHop++单元，利用c/w Saab变换从面部区域提取分层特征。
• 特征蒸馏模块通过空间维数压缩减少空间冗余，并通过通道级软分类增强语义内容。
• 该方法处理多个面部区域（如眼睛、鼻子、嘴巴）的特征，并通过集成分类方法融合，提升鲁棒性。
• 在每一跳（hop）应用空间主成分分析（PCA），在保留90%能量的同时降低特征维度，确保紧凑表示。
• 在蒸馏后的特征上训练通道级XGBoost分类器，随后通过集成XGBoost进行最终决策。
• 模型采用少量视频端到端训练，展现出从有限数据中强大的泛化能力。

实验结果

研究问题

• RQ1 非深度学习方法是否能在极小模型尺寸下实现SOTA的深度伪造检测性能？
• RQ2 通过PixelHop++实现的连续子空间学习，在从高分辨率面部区域中捕捉判别性特征方面效果如何？
• RQ3 特征蒸馏在降低模型复杂度的同时，对检测准确率的提升程度如何？
• RQ4 与深度学习基线相比，DefakeHop在显著减少训练样本数量的情况下是否仍能良好泛化？
• RQ5 在不同视频质量水平下（尤其是压缩视频）模型表现如何？

主要发现

• DefakeHop 在UADFV数据集上实现100% AUC，优于基准中所有其他方法。
• 在Celeb-DF v1上，DefakeHop 达到94.95% AUC，展现出非深度学习方法中的SOTA性能。
• 在Celeb-DF v2上，其AUC达到90.56%，表明在多种深度伪造生成技术下具有强大泛化能力。
• 模型仅需250个训练视频（约Celeb-DF v2的5%）即可达到85% AUC，表明其具有极高的样本效率。
• 尽管在低质量视频条件下性能有所下降，DefakeHop 仍保持强劲表现，LQ（c40）FF++视频中AUC仅下降5%。
• 最终模型参数量仅为42,845个，非常适用于移动端和边缘设备部署。