[论文解读] Noiseprint: a CNN-based camera model fingerprint

Davide Cozzolino, Luisa Verdoliva|arXiv (Cornell University)|Aug 25, 2018

Digital Media Forensic Detection被引用 12

一句话总结

本文提出Noiseprint，一种基于CNN的方法，通过在相同或不同相机上训练的图像块对的孪生网络，抑制场景内容并增强相机特异性伪影，从而提取相机型号指纹。该方法在图像伪造定位任务中达到最先进性能，在伪造检测中准确率达82%，并能通过Noiseprint热力图清晰揭示拼接、接缝雕刻和基于GAN的修复等操作的痕迹。

ABSTRACT

Forensic analyses of digital images rely heavily on the traces of in-camera and out-camera processes left on the acquired images. Such traces represent a sort of camera fingerprint. If one is able to recover them, by suppressing the high-level scene content and other disturbances, a number of forensic tasks can be easily accomplished. A notable example is the PRNU pattern, which can be regarded as a device fingerprint, and has received great attention in multimedia forensics. In this paper we propose a method to extract a camera model fingerprint, called noiseprint, where the scene content is largely suppressed and model-related artifacts are enhanced. This is obtained by means of a Siamese network, which is trained with pairs of image patches coming from the same (label +1) or different (label -1) cameras. Although noiseprints can be used for a large variety of forensic tasks, here we focus on image forgery localization. Experiments on several datasets widespread in the forensic community show noiseprint-based methods to provide state-of-the-art performance.

研究动机与目标

• 通过抑制高级场景内容并增强相机内伪影，从数字图像中提取鲁棒且与相机型号相关的指纹。
• 通过数据驱动的深度学习方法，克服基于PRNU的方法在场景内容泄漏导致信噪比低方面的局限性。
• 开发一种完全无监督的方法，无需标注训练数据或相机型号先验知识，从而可部署于未见过的设备上。
• 通过使伪造操作引起的不一致性在Noiseprint表示中高度显著，实现可靠的图像伪造定位。
• 在多种伪造类型（包括拼接、接缝雕刻和基于GAN的修复）中证明该方法的有效性。

提出的方法

• 在来自同一相机型号或不同型号的图像块对上训练孪生卷积神经网络，正样本对来自同一相机型号，负样本对来自不同型号。
• 网络学习区分源自同一相机型号的图像块，从而隐式学习抑制场景内容并突出型号特异性噪声模式。
• 训练完成后，网络被冻结并用作特征提取器，为任意输入图像生成Noiseprint，代表相机型号指纹。
• Noiseprint源自网络内部的特征图，强调与相机数字处理链相关的伪影。
• 该方法完全无监督运行，初始训练后无需外部监督或标注数据。
• 通过分析Noiseprint热力图中的空间不一致性进行伪造定位，其中伪造边界表现为明显异常。

实验结果

研究问题

• RQ1 基于深度学习的方法能否有效提取抑制场景内容并增强设备特异性伪影的相机型号指纹？
• RQ2 此类指纹能否在高纹理或高饱和度等具有挑战性的条件下，优于传统PRNU方法检测图像伪造？
• RQ3 Noiseprint在多大程度上能揭示如接缝雕刻或基于GAN的修复等细微伪造操作？
• RQ4 该方法在未在训练数据中出现的新型相机型号上泛化能力如何？
• RQ5 即使无法可靠识别具体设备，Noiseprint能否用于识别相机型号？

主要发现

• Noiseprint在基准数据集上的图像伪造定位准确率达到82%，超过基于PRNU方法的77%。
• 该方法在Noiseprint热力图中清晰揭示了拼接、接缝雕刻和基于GAN的修复的伪造痕迹，使人类观察者能够直观检测。
• 在相机型号识别方面，Noiseprint达到62%的准确率，表明其捕捉了型号特异性特征，而无需依赖设备级别的唯一性。
• 基于Noiseprint的方法在检测伪造方面优于PRNU，尤其在纹理丰富或饱和度高的区域，PRNU因内容泄漏导致性能下降。
• 即使在具有非标准传感器和处理链的卫星图像中，Noiseprint仍能以高空间精度成功突出拼接伪造。
• 该方法在多种伪造类型中保持有效，包括先进的基于GAN的修复，其中Noiseprint热力图在修复区域显示出明显的纹理变化。