[论文解读] Mining Generalized Features for Detecting AI-Manipulated Fake Faces

Yang Yu, Rongrong Ni+1 more|arXiv (Cornell University)|Oct 27, 2020

Digital Media Forensic Detection参考文献 50被引用 8

一句话总结

该论文提出了一种新颖的深度学习框架，通过挖掘通道差分图像（CDI）和光谱图像（SI）中的内在特征，结合OctConv与基于注意力的特征融合模块，以增强特征提取，并引入领域对齐模块以减少不同篡改技术之间的分布偏差。该方法在未见过的篡改技术上实现了最先进的一般化性能，跨技术检测准确率在StyleGAN2上达到98.75%，在HomoInterpGAN上达到99.65%。

ABSTRACT

Recently, AI-manipulated face techniques have developed rapidly and constantly, which has raised new security issues in society. Although existing detection methods consider different categories of fake faces, the performance on detecting the fake faces with "unseen" manipulation techniques is still poor due to the distribution bias among cross-manipulation techniques. To solve this problem, we propose a novel framework that focuses on mining intrinsic features and further eliminating the distribution bias to improve the generalization ability. Firstly, we focus on mining the intrinsic clues in the channel difference image (CDI) and spectrum image (SI) from the camera imaging process and the indispensable step in AI manipulation process. Then, we introduce the Octave Convolution (OctConv) and an attention-based fusion module to effectively and adaptively mine intrinsic features from CDI and SI. Finally, we design an alignment module to eliminate the bias of manipulation techniques to obtain a more generalized detection framework. We evaluate the proposed framework on four categories of fake faces datasets with the most popular and state-of-the-art manipulation techniques, and achieve very competitive performances. To further verify the generalization ability of the proposed framework, we conduct experiments on cross-manipulation techniques, and the results show the advantages of our method.

研究动机与目标

• 为解决现有假脸检测方法在未见AI篡改技术上泛化能力差的问题，其根源在于分布偏差。
• 识别并利用相机成像与篡改处理流程中在不同假脸生成方法间保持稳定的内在、跨技术特征。
• 通过领域对齐模块减少特定篡改技术带来的偏差，提升检测鲁棒性。
• 开发一个统一框架，不仅在已知篡改类型上表现优异，还能有效泛化至新型、未见的技术。

提出的方法

• 该框架提取两种内在特征表示：通道差分图像（CDI）和光谱图像（SI），分别源自RGB图像，反映相机成像与AI篡改带来的物理与处理伪影。
• 采用八度卷积（OctConv）高效捕获CDI与SI的多尺度特征，实现在降低计算成本的同时提升表征学习能力。
• 引入基于注意力的融合模块，通过学习输入内容相关的动态权重，自适应地结合CDI与SI的特征，提升特征的相关性与判别力。
• 引入领域对齐模块，以最小化不同篡改技术所产生特征之间的分布差异，增强对未见方法的泛化能力。
• 整体框架采用交叉熵损失进行端到端训练，并通过消融实验验证各组件的贡献。
• 在四个主要假脸数据集上评估该方法，使用最先进生成器（如StyleGAN2、HomoInterpGAN），包括零样本跨技术检测。

实验结果

研究问题

• RQ1 CDI与SI中的内在特征能否作为检测多样化AI篡改假脸的可靠、通用信号？
• RQ2 与简单拼接或单独使用模态相比，基于注意力的CDI与SI特征融合在多大程度上能提升检测性能？
• RQ3 OctConv在CDI与SI特征提取方面，在准确率与效率上有多大的提升作用？
• RQ4 领域对齐模块能否显著减少不同篡改技术间的分布偏差，并提升零样本泛化能力？
• RQ5 与最先进方法相比，该框架在检测由未见篡改技术生成的假脸方面表现如何？

主要发现

• 基于注意力的CDI与SI特征融合（V_F）优于单独使用模态特征或简单拼接，证明了自适应特征加权的必要性。
• 该框架在跨技术检测中对StyleGAN2达到98.75%的准确率，对HomoInterpGAN达到99.65%，显著优于基线方法。
• 消融实验表明，OctConv算子在StyleGAN2上提升性能2.3个百分点，在HomoInterpGAN上提升2.9个百分点，证明其有效性。
• 领域对齐模块降低了跨技术检测中的性能下降，t-SNE可视化显示对齐后特征簇更紧凑、更具可分性。
• 该方法在未见篡改技术上泛化良好，在四类假脸（整体合成、表情、属性与身份篡改）中均保持一致的高性能。
• 注意力权重可视化显示，融合模块能根据篡改类型自适应地优先选择CDI或SI——例如整体合成为SI，身份篡改为CDI——表明实现了上下文感知的特征学习。