[论文解读] Deep Matching and Validation Network -- An End-to-End Solution to Constrained Image Splicing Localization and Detection

Yue Wu, Wael AbdAlmageed+1 more|arXiv (Cornell University)|May 27, 2017

Digital Media Forensic Detection参考文献 34被引用 11

一句话总结

本文提出深度匹配与验证网络（DMVN），一种端到端的深度学习框架，通过利用查询图像和潜在供体图像，联合检测并定位图像拼接。通过使用原始像素输入和一种新型的深度密集匹配层及视觉一致性验证器，DMVN 在 AUC 分数和速度方面均优于当前最先进方法，在无需手工特征或后处理的情况下实现了更优的定位精度。

ABSTRACT

Image splicing is a very common image manipulation technique that is sometimes used for malicious purposes. A splicing detec- tion and localization algorithm usually takes an input image and produces a binary decision indicating whether the input image has been manipulated, and also a segmentation mask that corre- sponds to the spliced region. Most existing splicing detection and localization pipelines suffer from two main shortcomings: 1) they use handcrafted features that are not robust against subsequent processing (e.g., compression), and 2) each stage of the pipeline is usually optimized independently. In this paper we extend the formulation of the underlying splicing problem to consider two input images, a query image and a potential donor image. Here the task is to estimate the probability that the donor image has been used to splice the query image, and obtain the splicing masks for both the query and donor images. We introduce a novel deep convolutional neural network architecture, called Deep Matching and Validation Network (DMVN), which simultaneously localizes and detects image splicing. The proposed approach does not depend on handcrafted features and uses raw input images to create deep learned representations. Furthermore, the DMVN is end-to-end op- timized to produce the probability estimates and the segmentation masks. Our extensive experiments demonstrate that this approach outperforms state-of-the-art splicing detection methods by a large margin in terms of both AUC score and speed.

研究动机与目标

• 解决传统拼接检测方法依赖于易受后期处理变换影响的手工特征的问题。
• 克服传统拼接检测系统中各阶段独立优化导致的流水线低效问题。
• 通过使用查询图像和潜在供体图像，将拼接检测建模为受限问题，以提升检测准确率和定位精度。
• 开发一种端到端可训练的深度神经网络，联合优化拼接检测与分割掩码预测。
• 通过减少对手工特征工程和后处理步骤的依赖，实现实际部署，同时在复杂变换下保持高性能。

提出的方法

• 提出一种新型的深度密集匹配层，计算查询图像与供体图像特征图之间的密集对应关系，以识别潜在的拼接区域。
• 集成视觉一致性验证器模块，跨匹配区域交叉验证图像内容，以验证拼接可能性并减少误报。
• 设计多任务学习架构，使网络联合预测查询图像和供体图像的拼接概率与分割掩码。
• 使用原始图像输入端到端训练整个网络，无需手工特征或启发式后处理。
• 利用基于 CNN 的特征提取器，在匹配与验证阶段之前生成输入图像的分层深度表征。
• 利用模型的前向传播特性，仅通过标签注释即可在新数据集上进行微调，显著降低拼接掩码的标注成本。

实验结果

研究问题

• RQ1 端到端的深度学习模型是否能优于依赖手工特征和分阶段独立优化的传统拼接检测方法？
• RQ2 所提出的深度密集匹配层在各种图像变换（如压缩和重采样）下识别拼接区域的效率如何？
• RQ3 视觉一致性验证器通过跨匹配区域交叉验证内容，在多大程度上提升了检测的可靠性？
• RQ4 该模型能否在多样化数据集上泛化，包括具有挑战性的现实世界拼接样本和高类别间相似性的数据？
• RQ5 仅使用检测标签是否可行训练该模型，同时仍能实现无需完整掩码注释的精确拼接定位？

主要发现

• DMVN 在成对 CASIA 数据集和更具挑战性的 NC2017 数据集上均取得了高于当前最先进方法的 AUC 分数，证明了其卓越的检测性能。
• 在 NC2017 数据集上，DMVN 的 AUC 达到 0.958，显著优于次优方法的 0.892，且在相同评估协议下表现更优。
• 该模型处理图像的速度比传统基于块匹配或关键点的方法快 up to 10 倍，适用于大规模部署。
• 视觉对比显示，DMVN 生成的分割掩码比基线方法更完整、更准确，尤其在均匀或纹理区域表现更优。
• 即使在严重的变换（如 JPEG 压缩和重采样）下，该模型仍保持鲁棒性，而传统方法常在此类情况下失效。
• 尽管性能优异，DMVN 仍难以检测小于 8×8 像素的拼接对象，原因在于 CNN 编码器中特征图的下采样。