[论文解读] Application of DenseNet in Camera Model Identification and Post-processing Detection

Abdul Muntakim Rafi, Uday Kamal+5 more|arXiv (Cornell University)|Sep 3, 2018

Digital Media Forensic Detection参考文献 34被引用 35

一句话总结

该论文提出了一种基于DenseNet-201的流水线，结合多尺度图像块提取与经验模态分解（EMD），实现鲁棒的相机型号识别与后期处理检测。在IEEE SP Cup 2018数据集上达到98.37%的准确率，在德累斯顿数据库上超过99%的准确率，展现出最先进的性能，并在图像篡改检测任务中实现96.66%的准确率。

ABSTRACT

Camera model identification has earned paramount importance in the field of image forensics with an upsurge of digitally altered images which are constantly being shared through websites, media, and social applications. But, the task of identification becomes quite challenging if metadata are absent from the image and/or if the image has been post-processed. In this paper, we present a DenseNet pipeline to solve the problem of identifying the source camera-model of an image. Our approach is to extract patches of 256*256 from a labeled image dataset and apply augmentations, i.e., Empirical Mode Decomposition (EMD). We use this extended dataset to train a Neural Network with the DenseNet-201 architecture. We concatenate the output features for 3 different sizes (64*64, 128*128, 256*256) and pass them to a secondary network to make the final prediction. This strategy proves to be very robust for identifying the source camera model, even when the original image is post-processed. Our model has been trained and tested on the Forensic Camera-Model Identification Dataset provided for the IEEE Signal Processing (SP) Cup 2018. During testing we achieved an overall accuracy of 98.37%, which is the current state-of-the-art on this dataset using a single model. We used transfer learning and tested our model on the Dresden Database for Camera Model Identification, with an overall test accuracy of over 99% for 19 models. In addition, we demonstrate that the proposed pipeline is suitable for other image-forensic classification tasks, such as, detecting the type of post-processing applied to an image with an accuracy of 96.66% -- which indicates the generality of our approach.

研究动机与目标

• 解决在缺乏元数据且经受JPEG压缩、缩放和伽马校正等后期处理的图像中识别相机型号的挑战。
• 开发一种在不同数据集间具有良好泛化能力且对图像篡改具有鲁棒性的深度学习流水线。
• 展示所学习特征在相关取证任务中的可迁移性，例如检测图像所应用的后期处理类型。
• 使用单一模型在IEEE SP Cup 2018相机型号识别基准上实现最先进性能。

提出的方法

• 从标注图像中提取256×256的图像块，并使用经验模态分解（EMD）进行数据增强，以扩充训练集。
• 在增强后的数据集上训练DenseNet-201模型，以从多个尺度（64×64、128×128和256×256）的图像块中学习相机特异性特征。
• 将三种不同图像块尺寸的特征图拼接，并通过一个二级分类器进行最终预测。
• 利用迁移学习在德累斯顿数据库上微调模型，以实现跨数据集评估。
• 将同一训练好的模型应用于分类四种类型的图像篡改：未修改、JPEG压缩、伽马校正和缩放图像。
• 在DenseNet-201架构中引入Squeeze-and-Excitation（SE）模块，以增强特征表示学习能力。

实验结果

研究问题

• RQ1 单一深度学习模型是否能在不依赖元数据的情况下实现相机型号识别的最先进准确率？
• RQ2 经验模态分解（EMD）作为数据增强技术，在提升相机型号识别对后期处理的鲁棒性方面效果如何？
• RQ3 从一个数据集（IEEE SP Cup 2018）中学到的特征在另一个数据集（德累斯顿数据库）上的泛化程度如何？
• RQ4 同一模型架构能否以高准确率检测多种类型的图像篡改？

主要发现

• 所提出的流水线在IEEE SP Cup 2018数据集上实现了98.37%的测试准确率，创下单模型性能的新纪录。
• 在德累斯顿数据库上，该模型对19种相机型号的识别准确率超过99%，对相机制造商的识别准确率达到100%。
• 模型展现出强大的泛化能力，在检测四种类型图像篡改（未修改、JPEG压缩、伽马校正和缩放）时准确率达到96.66%。
• 误检主要集中在同一制造商的相机型号之间，表明共享的插值算法或CFA模式可能是混淆的原因。
• 迁移学习使模型在德累斯顿数据集上实现高性能，尽管训练集规模显著较小，表明特征具有良好的可迁移性。
• 将EMD作为新型数据增强技术，显著提升了模型在后期处理条件下的鲁棒性。