[论文解读] Frequency-aware Discriminative Feature Learning Supervised by Single-Center Loss for Face Forgery Detection

Jiaming Li, Hongtao Xie+3 more|arXiv (Cornell University)|Mar 16, 2021

Face recognition and analysis参考文献 45被引用 21

一句话总结

本文提出了一种频率感知的判别性特征学习框架（FDFL），用于人脸伪造检测，结合了一种新颖的单中心损失（SCL），可增强真实人脸的类内紧凑性与类间可分性，同时引入自适应频率特征生成模块（AFFGM）以实现数据驱动的频率线索挖掘。该方法在FF++数据集的三个版本上均达到最先进性能，在最具挑战性的c40划分上实现了99.43%的准确率和0.998的AUC。

ABSTRACT

Face forgery detection is raising ever-increasing interest in computer vision since facial manipulation technologies cause serious worries. Though recent works have reached sound achievements, there are still unignorable problems: a) learned features supervised by softmax loss are separable but not discriminative enough, since softmax loss does not explicitly encourage intra-class compactness and interclass separability; and b) fixed filter banks and hand-crafted features are insufficient to capture forgery patterns of frequency from diverse inputs. To compensate for such limitations, a novel frequency-aware discriminative feature learning framework is proposed in this paper. Specifically, we design a novel single-center loss (SCL) that only compresses intra-class variations of natural faces while boosting inter-class differences in the embedding space. In such a case, the network can learn more discriminative features with less optimization difficulty. Besides, an adaptive frequency feature generation module is developed to mine frequency clues in a completely data-driven fashion. With the above two modules, the whole framework can learn more discriminative features in an end-to-end manner. Extensive experiments demonstrate the effectiveness and superiority of our framework on three versions of the FF++ dataset.

研究动机与目标

• 为解决Softmax损失在学习判别性特征时因缺乏对类内紧凑性与类间可分性的显式约束而导致的局限性。
• 克服基于频率的伪造检测中对固定滤波器组和手工设计特征的依赖，从而提升对多样化伪造模式的适应能力。
• 开发一种数据驱动的频率特征提取机制，以捕捉不同篡改方法下的细微伪造特异性痕迹。
• 在不同压缩级别和未见篡改技术下，提升人脸伪造检测的泛化能力与鲁棒性。

提出的方法

• 提出单中心损失（SCL），通过最小化真实人脸嵌入与单一中心点之间的距离，同时在真实与伪造人脸到中心点的距离之间施加边界，以增强判别性。
• SCL仅对真实人脸显式促进类内紧凑性，避免对多样化伪造人脸分布施加过度约束，从而降低优化难度。
• 设计自适应频率特征生成模块（AFFGM），通过可学习的频率预处理阶段与自适应频率信息挖掘模块，学习特定频率的表示。
• AFFGM实现无需依赖固定滤波器组的端到端频率域伪影学习，使模型能够从数据中自动发现相关频率模式。
• 在统一的端到端训练框架中结合SCL与AFFGM，联合优化判别性特征学习与频率感知表征。
• 采用Xception主干网络进行特征提取，其中SCL与AFFGM分别作为损失函数与特征工程组件集成。

Figure 1: The feature distribution of samples in the embedding space. Left: learned features supervised by softmax loss are broadly separable but not discriminative enough, since the intra-class compactness and inter-class separability are not explicitly constrained. Right: our SCL only encourages t

实验结果

研究问题

• RQ1 一种仅对真实人脸约束类内紧凑性的度量学习损失，是否能提升特征判别性并降低人脸伪造检测中的优化难度？
• RQ2 一种数据驱动的自适应频率特征生成模块，是否能优于手工设计或固定滤波器基的频率分析方法，以更有效地捕捉细微伪造痕迹？
• RQ3 所提出的FDFL框架在FF++数据集的不同视频压缩级别（c0、c23、c40）下表现如何？
• RQ4 与基线模型及先前最先进方法相比，SCL与AFFGM的集成在多大程度上提升了检测性能？
• RQ5 该框架是否具备对未见篡改方法的泛化能力？其在这些场景下的局限性是什么？

主要发现

• 所提出的FDFL框架在FF++数据集最富挑战性的c40版本上实现了99.43%的准确率、0.998的AUC以及0.924的pAUC 0.1，优于先前最先进方法。
• 仅使用单中心损失（SCL）相比基线模型，AUC提升5.5%，pAUC 0.1提升13.8%，证明其在增强特征判别性方面的有效性。
• 自适应频率特征生成模块（AFFGM）使AUC提升4.5%，pAUC 0.1提升11.7%，表明其在捕捉频率域伪影方面的价值。
• 两者联合使用时，性能达到最优（AUC: 0.924，pAUC 0.1: 0.810），证实其在框架中的互补性与协同效应。
• 在c40划分上，FDFL相比前一SOTA方法实现AUC提升6.4%、pAUC 0.1提升15.8%、准确率提升2.86%，表明其对高强度压缩具有强大鲁棒性。
• 消融实验确认，SCL与AFFGM均独立对性能有显著贡献，完整模型在所有指标上均取得最高得分。

Figure 2: The Frequency-aware Discriminative Features Learning framework. AFFGM stands for the adaptive frequency feature generation module. AFIMB represents the adaptive frequency information mining block. FC represents the fully connected layer and $L_{ce}$ represents the cross-entropy loss. The w