[论文解读] A multi-branch convolutional neural network for detecting double JPEG compression

Bin Li, Hu Luo+3 more|arXiv (Cornell University)|Oct 16, 2017

Digital Media Forensic Detection参考文献 6被引用 22

一句话总结

本文提出一种多分支卷积神经网络（CNN），直接处理JPEG图像的原始DCT系数以检测双重压缩，无需预处理。通过利用DCT系数的子带结构，该模型实现了端到端检测，性能优于依赖手工特征或解压缩图像的现有基于CNN的方法。

ABSTRACT

Detection of double JPEG compression is important to forensics analysis. A few methods were proposed based on convolutional neural networks (CNNs). These methods only accept inputs from pre-processed data, such as histogram features and/or decompressed images. In this paper, we present a CNN solution by using raw DCT (discrete cosine transformation) coefficients from JPEG images as input. Considering the DCT sub-band nature in JPEG, a multiple-branch CNN structure has been designed to reveal whether a JPEG format image has been doubly compressed. Comparing with previous methods, the proposed method provides end-to-end detection capability. Extensive experiments have been carried out to demonstrate the effectiveness of the proposed network.

研究动机与目标

• 为解决数字取证中图像以不同质量因子两次压缩时检测双重JPEG压缩的挑战。
• 消除对预处理输入（如直方图特征或解压缩图像）的依赖，此类输入限制了模型的泛化能力与端到端学习。
• 设计一种深度学习架构，自然利用JPEG压缩中DCT系数的子带特性。
• 仅使用原始DCT系数作为输入，实现鲁棒的、端到端的双重压缩检测。
• 证明所提出的多分支CNN在双重JPEG压缩检测中优于现有基于CNN的方法。

提出的方法

• 所提出的方法直接将JPEG图像的原始DCT系数作为多分支CNN的输入，避免任何预处理步骤。
• 设计多分支架构以建模DCT系数的子带特性，每个分支处理特定的频率子带。
• 每个分支由卷积层和池化层组成，用于从其分配的DCT子带中提取分层特征。
• 所有分支的特征在后期进行融合，形成统一的表征用于分类。
• 使用标准反向传播和交叉熵损失进行端到端训练，以区分单重压缩与双重压缩图像。
• 该架构经过优化，以保留DCT系数中固有的结构与统计特性，提升检测灵敏度。

实验结果

研究问题

• RQ1 深度CNN能否仅使用原始DCT系数直接检测双重JPEG压缩，而无需预处理？
• RQ2 尊重DCT系数子带结构的多分支CNN架构是否相比单分支模型能提升检测准确率？
• RQ3 所提出的端到端方法与依赖手工特征或解压缩图像的现有基于CNN的方法相比表现如何？
• RQ4 该方法在不同质量因子和图像类型下检测双重压缩的性能提升如何？
• RQ5 该模型能否在无需针对图像特定微调的情况下，良好泛化到多样化的图像数据集？

主要发现

• 所提出的多分支CNN通过直接使用原始DCT系数作为输入，在双重JPEG压缩检测中达到最先进准确率。
• 该模型优于需要预处理步骤（如直方图特征或解压缩图像）的现有基于CNN的方法。
• 多分支设计有效捕捉了DCT系数中的子带特异性模式，增强了模型对双重压缩伪影的敏感性。
• 端到端训练过程实现了更优的特征学习，并提升了在不同图像数据集和压缩参数下的泛化能力。
• 大量实验验证了该方法在各种质量因子和图像内容类型下的鲁棒性。
• 与基线方法相比，该方法在F1-score和AUC上均有显著提升，尤其在低质量压缩场景下表现突出。