[论文解读] Multi-spectral Class Center Network for Face Manipulation Detection and Localization

Changtao Miao, Qi Chu+8 more|arXiv (Cornell University)|May 18, 2023

Face recognition and analysis被引用 5

一句话总结

本文提出多光谱类别中心网络（MSCCNet），一种新颖的面部操作检测与定位框架，通过利用多光谱类别中心学习语义无关、频率感知的特征，并结合多层级特征聚合，以增强伪造痕迹建模。在新构建的、高质量像素级标注基准 FaceForensics++ 上，该方法实现了 77.22% 的 mIoU，达到当前最先进性能。

ABSTRACT

As deepfake content proliferates online, advancing face manipulation forensics has become crucial. To combat this emerging threat, previous methods mainly focus on studying how to distinguish authentic and manipulated face images. Although impressive, image-level classification lacks explainability and is limited to specific application scenarios, spurring recent research on pixel-level prediction for face manipulation forensics. However, existing forgery localization methods suffer from exploring frequency-based forgery traces in the localization network. In this paper, we observe that multi-frequency spectrum information is effective for identifying tampered regions. To this end, a novel Multi-Spectral Class Center Network (MSCCNet) is proposed for face manipulation detection and localization. Specifically, we design a Multi-Spectral Class Center (MSCC) module to learn more generalizable and multi-frequency features. Based on the features of different frequency bands, the MSCC module collects multi-spectral class centers and computes pixel-to-class relations. Applying multi-spectral class-level representations suppresses the semantic information of the visual concepts which is insensitive to manipulated regions of forgery images. Furthermore, we propose a Multi-level Features Aggregation (MFA) module to employ more low-level forgery artifacts and structural textures. Meanwhile, we conduct a comprehensive localization benchmark based on pixel-level FF++ and Dolos datasets. Experimental results quantitatively and qualitatively demonstrate the effectiveness and superiority of the proposed MSCCNet. We expect this work to inspire more studies on pixel-level face manipulation localization. The codes are available (https://github.com/miaoct/MSCCNet).

研究动机与目标

• 解决现有面部操作数据集中缺乏精确且一致的像素级标注的问题，该问题阻碍了定位方法的可靠评估与比较。
• 通过使用改进的、技术感知的像素级掩码重新标注 FaceForensics++ 数据集，建立一个全面的面部操作定位基准。
• 开发一种深度学习框架，以抑制语义偏差，并增强对频率相关伪造痕迹的检测，实现更精确的定位。
• 通过多层级特征聚合模块，融合低层级伪造痕迹与高层级语义特征，以提升定位性能。
• 通过多光谱类别中心实现基于频率的表征学习，以建模与视觉语义无关的伪造痕迹。

提出的方法

• 提出多光谱类别中心（MSCC）模块，利用二维 DCT 滤波器将特征分解为不同频带，实现频率特定的表征学习。
• 在每个频带内计算类别中心，并使用图卷积网络（GCN）增强类别表征之间的跨频带交互与一致性。
• 通过基于像素到类别中心关系的加权注意力图，对深层特征进行优化，以抑制与伪造痕迹无关的语义信息。
• 集成多层级特征聚合（MFA）模块，通过拼接不同阶段的特征，以保留低层级纹理与伪造痕迹。
• 使用结合交叉熵损失与 Dice 损失的分割头，对像素级定位进行优化，与 MSCCNet 架构端到端联合训练。
• 利用基于 DCT 的频率分解，分离出伪造痕迹最显著的高频分量，提升对细微操作的敏感度。

实验结果

研究问题

• RQ1 多光谱表征学习是否能通过减少对语义内容的依赖，提升面部操作定位模型的泛化能力与鲁棒性？
• RQ2 与传统特征学习相比，通过多频带建模伪造痕迹在多大程度上提升了定位精度？
• RQ3 通过多层级特征聚合整合低层级伪造特异性纹理，在多大程度上提升了对细微操作伪造痕迹的检测能力？
• RQ4 GCN 与 DCT 滤波器等架构组件在 MSCCNet 框架中对性能提升的贡献如何？
• RQ5 新构建的高质量像素级标注基准是否能够实现对面部操作定位方法更可靠且可比的评估？

主要发现

• 所提出的 MSCCNet 在新构建的高质量像素级标注 FaceForensics++ 基准上实现了 77.22% 的平均交并比（mIoU），优于现有方法。
• 消融实验表明，若移除 DCT 滤波器，mIoU 降至 75.92%，性能下降 1.3%，证实频率分解在捕捉伪造痕迹中的重要性。
• GCN 层通过增强类别中心间的跨频带交互，使 mIoU 提升 0.6%（从 76.62% 提升至 77.22%）。
• DCT 使用 16 个变换基函数时，mIoU 降至 76.70%，表明过多频率分量会因预测难度增加而降低性能。
• MFA 模块中采用拼接操作优于加法操作，mIoU 从加法的 76.66% 提升至拼接的 77.22%。
• 模型在图像级分类上达到 88.07% 的准确率与 87.61% 的 AUC，表明其在定位与二分类任务中均表现优异。