[论文解读] Hierarchical Fine-Grained Image Forgery Detection and Localization

Xiao Guo, Xiaohong Liu+4 more|arXiv (Cornell University)|Mar 30, 2023

Digital Media Forensic Detection被引用 4

一句话总结

本文提出了一种分层细粒度框架，用于统一的图像伪造检测与定位（IFDL），该框架在多个抽象层次上建模伪造属性——从‘完全合成’等一般类别到‘DDPM’或‘拼接’等具体方法。通过利用伪造属性之间的分层依赖关系，该方法在图像级检测和像素级定位方面均取得提升，在七个基准测试中达到最先进性能，并能泛化至未见过的伪造方法。

ABSTRACT

Differences in forgery attributes of images generated in CNN-synthesized and image-editing domains are large, and such differences make a unified image forgery detection and localization (IFDL) challenging. To this end, we present a hierarchical fine-grained formulation for IFDL representation learning. Specifically, we first represent forgery attributes of a manipulated image with multiple labels at different levels. Then we perform fine-grained classification at these levels using the hierarchical dependency between them. As a result, the algorithm is encouraged to learn both comprehensive features and inherent hierarchical nature of different forgery attributes, thereby improving the IFDL representation. Our proposed IFDL framework contains three components: multi-branch feature extractor, localization and classification modules. Each branch of the feature extractor learns to classify forgery attributes at one level, while localization and classification modules segment the pixel-level forgery region and detect image-level forgery, respectively. Lastly, we construct a hierarchical fine-grained dataset to facilitate our study. We demonstrate the effectiveness of our method on $7$ different benchmarks, for both tasks of IFDL and forgery attribute classification. Our source code and dataset can be found: \href{https://github.com/CHELSEA234/HiFi_IFDL}{github.com/CHELSEA234/HiFi-IFDL}.

研究动机与目标

• 为解决在包括CNN合成和图像编辑方法在内的多样化伪造领域中，统一的图像伪造检测与定位挑战。
• 建模伪造属性固有的分层结构，例如从‘完全合成’到‘扩散模型’或‘拼接’等具体方法的层级关系。
• 通过联合优化多分支特征提取、分层分类和像素级定位，改进表示学习。
• 构建一个新的分层细粒度数据集（HiFi-IFDL），以支持统一IFDL模型的训练与评估。

提出的方法

• 该框架采用多分支特征提取器，每个分支学习特定层次的伪造属性分类特征。
• 通过将每个节点的预测基于从根节点到该节点的路径，实现分层分类，确保各层次间的一致性。
• 通过对比损失实现像素级伪造定位，该损失将特征与真实图像的均值特征向量进行比较。
• 损失函数具有自适应性：当输入为真实图像时，仅训练最后一层分支；当输入为伪造图像时，所有分支均被优化。
• 使用特征提取器、分类模块和定位模块的独立学习率，端到端训练模型。
• 构建了一种新型数据集HiFi-IFDL，包含12种伪造类别，涵盖4个粒度层级，包括已见和未见方法。

实验结果

研究问题

• RQ1 统一的IFDL框架能否有效检测并定位CNN合成和图像编辑领域的伪造图像？
• RQ2 与平面分类相比，建模伪造属性的分层结构在检测与定位性能方面有何提升？
• RQ3 该模型在训练集中未出现的伪造方法上，其泛化能力如何？
• RQ4 伪造属性之间的分层依赖关系如何增强特征表示学习？
• RQ5 多级监督对定位精度和鲁棒性有何影响？

主要发现

• 所提方法在七个基准测试中，均在图像级伪造检测和像素级定位任务上达到最先进性能。
• 该模型能有效泛化至未见的伪造方法，在零样本设置下表现出强鲁棒性。
• 在更深层级（如特定扩散模型）进行细粒度分类时，可受益于粗粒度层级的监督，即使粗粒度预测较弱，也能提升准确率。
• 分层结构通过利用伪造方法与伪造区域分布之间的相关性，提升了定位性能。
• 所提出的HiFi-IFDL数据集为未来统一IFDL研究提供了多样化、多层次的基准。
• 定性结果表明该方法具有强鲁棒性，能正确分类来自StyleGANv3和Faceshifter等复杂伪造方法的图像。