[论文解读] Detecting Colorized Images via Convolutional Neural Networks: Toward High Accuracy and Good Generalization

Weize Quan, Dong‐Ming Yan+3 more|arXiv (Cornell University)|Feb 17, 2019

Digital Media Forensic Detection参考文献 47被引用 4

一句话总结

本文提出一种基于深度学习的方法，采用双分支卷积神经网络（CNN）在高准确率和强泛化能力下检测彩色图像，尤其在盲检测条件下表现优异。通过整合一种新型特征分析分支以及利用线性插值自动生成的负样本，该模型在未见过的着色算法上实现了卓越性能，同时保持了高分类准确率。

ABSTRACT

Image colorization achieves more and more realistic results with the increasing computation power of recent deep learning techniques. It becomes more difficult to identify the fake colorized images by human eyes. In this work, we propose a novel forensic method to distinguish between natural images (NIs) and colorized images (CIs) based on convolutional neural network (CNN). Our method is able to achieve high classification accuracy and cope with the challenging scenario of blind detection, i.e., no training sample is available from "unknown" colorization algorithm that we may encounter during the testing phase. This blind detection performance can be regarded as a generalization performance. First, we design and implement a base network, which can attain better performance in terms of classification accuracy and generalization (in most cases) compared with state-of-the-art methods. Furthermore, we design a new branch, which analyzes smaller regions of extracted features, and insert it into the above base network. Consequently, our network can not only improve the classification accuracy, but also enhance the generalization in the vast majority of cases. To further improve the performance of blind detection, we propose to automatically construct negative samples through linear interpolation of paired natural and colorized images. Then, we progressively insert these negative samples into the original training dataset and continue to train the network. Experimental results demonstrate that our method can achieve stable and high generalization performance when tested against different state-of-the-art colorization algorithms.

研究动机与目标

• 为应对由于先进的基于深度学习的着色技术，导致自然图像（NIs）与彩色图像（CIs）之间难以区分的日益严峻挑战。
• 在测试时着色方法未知的盲检测场景下，提升检测性能。
• 在不牺牲分类准确率的前提下，增强基于CNN的取证模型的泛化能力。
• 开发一种有效且自动化的负样本生成方法，以提升对未见着色算法的鲁棒性。

提出的方法

• 设计一个用于NIs/CIs分类的基础端到端CNN模型，并对第一层激活函数进行消融研究。
• 引入一个新分支，用于分析局部特征区域，以捕捉细微的人工痕迹，如颜色渗出和单调着色。
• 通过在成对的自然图像与彩色图像之间进行线性插值，构建负样本，以模拟真实的分布差异。
• 逐步将这些合成负样本插入训练集，以优化模型的泛化能力。
• 使用交叉熵损失和标准优化技术，以端到端方式训练网络。
• 可视化特征图和卷积核，以解释模型行为，并验证颜色渗出和不自然颜色分布等检测线索。

实验结果

研究问题

• RQ1 基于CNN的方法是否能在检测彩色图像方面优于传统手工设计的特征方法？
• RQ2 当在未见过的着色算法上测试时，深度学习模型如何保持高泛化性能？
• RQ3 自动生成的负样本能在多大程度上提升取证分类器的鲁棒性？
• RQ4 模型学习到了哪些视觉线索以区分自然图像与彩色图像？

主要发现

• 所提出的双分支CNN在已知和未知着色算法上，均实现了比当前最先进方法更高的分类准确率和更好的泛化能力。
• 新增的特征分析分支显著提升了模型检测细微痕迹（如颜色渗出和不自然的均匀着色）的能力。
• 使用线性插值生成的负样本，带来了稳定且可量化的泛化性能提升，同时分类准确率下降极小。
• 可视化结果证实，模型对颜色渗出和单调着色区域有强烈响应——这些是人工着色的关键指标。
• 误分类案例主要源于低饱和度的自然图像或具有丰富、逼真色彩的彩色图像，表明在检测细微色彩痕迹方面仍存在局限。