[论文解读] Identifying Invariant Texture Violation for Robust Deepfake Detection

Xinwei Sun, Botong Wu+1 more|arXiv (Cornell University)|Dec 19, 2020

Digital Media Forensic Detection参考文献 35被引用 9

一句话总结

该论文提出 InTeLe，一种鲁棒的深度伪造检测框架，通过识别不变纹理异常——即由人脸替换引起的微小面部纹理不一致——作为检测高保真度深度伪造的通用信号。通过使用带有标签依赖解码器的解耦自编码器与语义分类器，InTeLe 将伪影效应与内在纹理异常分离，实现在 Celeb-DF 上 73.8% 的 SOTA AUC 以及在 FaceForensics++ 上 86.4% 的准确率。

ABSTRACT

Existing deepfake detection methods have reported promising in-distribution results, by accessing published large-scale dataset. However, due to the non-smooth synthesis method, the fake samples in this dataset may expose obvious artifacts (e.g., stark visual contrast, non-smooth boundary), which were heavily relied on by most of the frame-level detection methods above. As these artifacts do not come up in real media forgeries, the above methods can suffer from a large degradation when applied to fake images that close to reality. To improve the robustness for high-realism fake data, we propose the Invariant Texture Learning (InTeLe) framework, which only accesses the published dataset with low visual quality. Our method is based on the prior that the microscopic facial texture of the source face is inevitably violated by the texture transferred from the target person, which can hence be regarded as the invariant characterization shared among all fake images. To learn such an invariance for deepfake detection, our InTeLe introduces an auto-encoder framework with different decoders for pristine and fake images, which are further appended with a shallow classifier in order to separate out the obvious artifact-effect. Equipped with such a separation, the extracted embedding by encoder can capture the texture violation in fake images, followed by the classifier for the final pristine/fake prediction. As a theoretical guarantee, we prove the identifiability of such an invariance texture violation, i.e., to be precisely inferred from observational data. The effectiveness and utility of our method are demonstrated by promising generalization ability from low-quality images with obvious artifacts to fake images with high realism.

研究动机与目标

• 解决基于伪影的深度伪造检测器在缺乏明显伪影的高保真伪造中泛化失败的问题。
• 识别存在于所有人脸替换图像中的通用、不变的纹理异常信号，无论合成质量如何。
• 开发一种检测框架，将此不变纹理异常与偶然伪影分离，提升对真实伪造的鲁棒性。
• 从理论上证明从观测数据中可识别纹理异常，确保检测的可靠性。
• 展示从低质量训练数据到高保真度测试数据（包括真实世界伪造）的优越泛化能力。

提出的方法

• 提出一种带有两个独立解码器的自编码器框架：一个用于原始图像，一个用于伪造图像，从而实现伪影效应的解耦。
• 引入标签依赖解码器结构，其中伪造图像解码器通过浅层语义分类器 ($f_{\mathrm{SC}}$) 进行正则化，以分离与伪影相关的模式。
• 使用三元组损失在潜在空间中强制语义一致性，确保编码器捕捉到与伪影无关的不变纹理特征。
• 采用解耦训练目标，使编码器通过最小化原始和伪造分支上的重建误差，学习提取纹理异常信号。
• 应用多损失优化，结合重建损失、三元组损失和分类器损失，联合训练编码器与解码器。
• 最终分类器基于经过净化的潜在表示 $Z$ 运行，该表示已去除伪影影响，从而实现鲁棒检测。

实验结果

研究问题

• RQ1 能否可靠地将由人脸替换引起的不变纹理异常识别为深度伪造检测的通用信号？
• RQ2 解耦自编码器框架能否有效分离伪造图像中由伪影引起的模式与内在纹理异常？
• RQ3 将纹理异常与伪影分离是否能提升对缺乏可见伪影的高保真度深度伪造的泛化能力？
• RQ4 在现实假设下，能否从观测数据中识别出不变纹理异常信号？
• RQ5 所提方法能否在包含高保真度测试集的基准上超越基于伪影的基线方法？

主要发现

• InTeLe 在 Celeb-DF 基准上取得 73.8% ± 1.1 的 AUC，优于所有基线方法，包括 LGSC 和 CE (X→Y)，且在 EfficientNet-B5 和 XceptionNet 主干网络下均表现更优。
• 在 FaceForensics++ 基准上，InTeLe 达到 86.4% 的准确率，超越先前 SOTA 方法 LGSC（84.8%）及所有其他公开代码的方法。
• 消融研究证实，若移除语义分类器 $f_{\mathrm{SC}}$，性能会下降，验证了其在伪影分离中的关键作用。
• 图 5 的可视化结果表明，$f_1$ 解码器（伪造分支）即使在原始图像上也会重建出伪影（如颜色失配、对比度异常），而 $f_0$（原始分支）则不会。
• 该方法能有效从低质量训练数据（FaceForensics++）泛化到高保真度测试数据（Celeb-DF），展现出对合成质量变化的鲁棒性。
• 理论可识别性证明确保了不变纹理异常信号可从观测数据中精确推断，支持该方法的可靠性。