[论文解读] Boundary-based Image Forgery Detection by Fast Shallow CNN

Zhongping Zhang, Yixuan Zhang+2 more|arXiv (Cornell University)|Jan 20, 2018

Digital Media Forensic Detection参考文献 15被引用 10

一句话总结

本文提出一种快速、浅层卷积神经网络（SCNN），通过分析伪造边界处的色度和饱和度差异来检测图像伪造，尤其在低分辨率图像上表现优异。Fast SCNN 是一种利用全局特征提取的高效变体，在 CASIA 2.0 数据集上优于当前最先进方法，JPEG 图像上达到 85.35% 的准确率，TIFF 图像上达到 82.93%，且显著快于基于滑动窗口的检测方法。

ABSTRACT

Image forgery detection is the task of detecting and localizing forged parts in tampered images. Previous works mostly focus on high resolution images using traces of resampling features, demosaicing features or sharpness of edges. However, a good detection method should also be applicable to low resolution images because compressed or resized images are common these days. To this end, we propose a Shallow Convolutional Neural Network(SCNN), capable of distinguishing the boundaries of forged regions from original edges in low resolution images. SCNN is designed to utilize the information of chroma and saturation. Based on SCNN, two approaches that are named Sliding Windows Detection (SWD) and Fast SCNN, respectively, are developed to detect and localize image forgery region. In this paper, we substantiate that Fast SCNN can detect drastic change of chroma and saturation. In image forgery detection experiments Our model is evaluated on the CASIA 2.0 dataset. The results show that Fast SCNN performs well on low resolution images and achieves significant improvements over the state-of-the-art.

研究动机与目标

• 开发一种在低分辨率和压缩图像上有效的伪造检测方法，传统基于重采样方法在此类图像上失效。
• 通过使用专注于边缘级色度和饱和度变化的浅层架构，解决深度网络因过度拟合形状和结构而产生的局限性。
• 设计一种高效的检测流水线，避免冗余计算，实现在大图像上的实时应用。
• 在不依赖插值或去马赛克痕迹的前提下，准确定位伪造区域，因为这些痕迹在压缩或缩放图像中不可靠。

提出的方法

• 设计一个包含两层卷积层和两层全连接层的浅层CNN（SCNN），用于分类伪造边界与原始边缘，不使用池化层以保留空间细节。
• 通过一种新方法提取边缘块，突出边界区域，增强对色度和饱和度过渡的敏感性。
• 提出两种检测框架：滑动窗口检测（SWD），将SCNN应用于图像中所有32×32的图像块；Fast SCNN，仅对整幅图像计算一次特征并复用。
• Fast SCNN利用整幅图像的特征图，避免重复前向传播，使1000×1000图像的计算时间最多减少108秒。
• 通过在置信度概率图上进行阈值处理和中值滤波，生成伪造区域的二值掩码作为最终输出。
• 模型在CASIA 2.0数据集上端到端训练，损失函数针对边界级分类进行优化。

实验结果

研究问题

• RQ1 通过聚焦色度和饱和度变化而非重采样或锐度特征，浅层CNN是否能有效检测低分辨率图像中的伪造边界？
• RQ2 在大图像或压缩图像上，Fast SCNN与基于滑动窗口的检测方法在速度和准确率方面相比如何？
• RQ3 该模型在多大程度上依赖色度和饱和度对比而非物体形状或纹理来区分伪造区域？
• RQ4 为何该模型在'人物'、'纹理'和'植物'类别上表现欠佳？导致误分类的视觉线索是什么？

主要发现

• Fast SCNN在CASIA 2.0数据集的JPEG图像上达到85.35%的检测准确率，在TIFF图像上达到82.93%，优于先前最先进方法，在低分辨率和压缩图像上表现更优。
• 与滑动窗口方法相比，该模型在每幅1000×1000图像上最多可减少108.26秒的计算时间，展现出显著的效率提升。
• SCNN有效捕捉了伪造边界处的色度和饱和度对比，可视化与消融实验表明其不依赖于物体形状或纹理。
• 该模型在背景复杂或景深变化较大的图像上表现较差，表明其对焦点和背景复杂度敏感，尤其在'人物'、'纹理'和'植物'类别中表现不佳。
• Fast SCNN避免了基于图像块模型的缺陷，生成连贯且局部化的掩码——与Zhang等人方法不同，后者因基于图像块分类的偏差，错误地将整个天空区域标记为伪造。
• 结果表明，SCNN学习的是边界特异性特征（色度/饱和度突变），而非一般图像内容，因为相似图像中不同篡改区域的检测结果保持一致。