[论文解读] Image Splicing Detection, Localization and Attribution via JPEG Primary Quantization Matrix Estimation and Clustering

Yakun Niu, Benedetta Tondi+3 more|arXiv (Cornell University)|Feb 2, 2021

Digital Media Forensic Detection参考文献 38被引用 5

一句话总结

本文提出一种端到端方法，通过估计双JPEG压缩区域的主量化矩阵（Q1）并基于Q1相似性对块进行聚类，实现对图像拼接伪造的检测、定位与溯源。该方法即使在非对齐压缩和不同质量因子条件下，也能区分源自多个不同来源图像的拼接区域，在DJPEG vs DJPEG场景下性能优于基线方法，并具备溯源能力。

ABSTRACT

Detection of inconsistencies of double JPEG artefacts across different image regions is often used to detect local image manipulations, like image splicing, and to localize them. In this paper, we move one step further, proposing an end-to-end system that, in addition to detecting and localizing spliced regions, can also distinguish regions coming from different donor images. We assume that both the spliced regions and the background image have undergone a double JPEG compression, and use a local estimate of the primary quantization matrix to distinguish between spliced regions taken from different sources. To do so, we cluster the image blocks according to the estimated primary quantization matrix and refine the result by means of morphological reconstruction. The proposed method can work in a wide variety of settings including aligned and non-aligned double JPEG compression, and regardless of whether the second compression is stronger or weaker than the first one. We validated the proposed approach by means of extensive experiments showing its superior performance with respect to baseline methods working in similar conditions.

研究动机与目标

• 填补现有方法无法区分源自多个不同来源图像的拼接区域的空白。
• 实现在真实世界DJPEG vs DJPEG压缩场景下对图像拼接的检测与定位，其中源图像和目标图像均经过双重压缩。
• 通过基于首次压缩历史识别拼接区域的不同来源，引入一项新的取证任务——源图像溯源。
• 确保在不同压缩质量因子和对齐条件（对齐或非对齐双重压缩）下的鲁棒性。
• 开发一个端到端系统，集成Q1估计、聚类数量预测、谱聚类和形态学优化，以实现精准的篡改检测与溯源。

提出的方法

• 使用基于CNN的估计器（来自[6]）对每个8×8块估计主量化矩阵（Q1），即使在小图像块上也能实现准确的Q1恢复。
• 将每个块表示为估计Q1值的特征向量，并应用谱聚类（SC）将具有相似Q1矩阵的块分组。
• 训练专用CNN，从估计的Q1向量中预测聚类数量（即源图像数量），实现对伪造复杂度的自动检测。
• 将最大聚类分配给背景，其余所有聚类均视为拼接区域，每个聚类对应一个不同的源图像。
• 通过形态学重建优化篡改图，以增强检测区域的空间一致性和平滑性。
• 支持对齐与非对齐双重压缩，可处理第二次压缩强于或弱于第一次压缩的情况。

Figure 1: Image tampering setup considered in this paper.

实验结果

研究问题

• RQ1 当背景区域和拼接区域均经过两次压缩时，能否在双JPEG压缩图像中检测到图像拼接？
• RQ2 能否基于主量化矩阵（Q1）的差异，准确地定位拼接区域并将其归因于不同的源图像？
• RQ3 在不同压缩质量因子（QF1 > QF2 或 QF1 < QF2）和对齐条件下的性能表现如何？
• RQ4 所提出系统是否能够在不依赖视觉伪影或异常检测的前提下，区分来自不同来源的多个拼接区域？
• RQ5 将Q1估计与谱聚类及形态学优化相结合，能在多大程度上提升检测与溯源的准确性？

主要发现

• 所提方法在DJPEG vs DJPEG条件下检测与定位拼接区域方面，性能显著优于基线方法。
• 通过基于估计主量化矩阵（Q1）的聚类，系统成功将拼接区域归因于不同的源图像，实现了新的取证能力。
• 该方法在对齐与非对齐双重压缩下均保持鲁棒性，包括第二次压缩强于第一次的情况。
• 基于CNN的Q1估计器即使在小图像块上也能实现准确估计，为可靠聚类提供了基础。
• 形态学重建显著提升了篡改图的空间一致性和平滑性，减少了误报。
• 在无明显边界伪影的场景下，该方法优于基于异常检测的方法（如MantraNet），证实了基于Q1专用分析的优势。

Figure 2: Architecture of the proposed method for splicing detection, localization and attribution of DJPEG images based on $Q_{1}$ matrix inconsistencies.