[论文解读] Bilinear Faster RCNN with ELA for Image Tampering Detection

Robin Elizabeth Yancey|arXiv (Cornell University)|Apr 7, 2019

Digital Media Forensic Detection参考文献 28被引用 7

一句话总结

本文提出了一种结合误差等级分析（ELA）的双线性Faster R-CNN框架，以提升图像伪造检测性能。通过将原始图像与ELA生成的JPEG压缩等级掩码作为第二路输入流进行融合，该模型在定位精度和推理速度方面均优于当前最先进的方法（如噪声分析或CFA），利用深度学习自动学习判别性特征，而无需事先了解伪造技术。

ABSTRACT

With technological advances leading to an increase in mechanisms for image tampering, fraud detection methods must continue to be upgraded to match their sophistication. One problem with current methods is that they require prior knowledge of the method of forgery in order to determine which features to extract from the image to localize the region of interest. When a machine learning algorithm is used to learn different types of tampering from a large set of various image types, with a large enough database we can easily classify which images are tampered (by training on the entire image feature map for each image). However, we still are left with the question of which features to train on, and how to localize the manipulation. To solve this, object detection networks such as Faster R-CNN, which combine an RPN (Region Proposal Network) with a CNN, have recently been adapted to fraud detection by utilizing their ability to propose bounding boxes for objects of interest to localize the tampering artifacts. By making use of the computational powers of today's GPUs this method also achieves a fast run-time and higher accuracy than the top current methods such as noise analysis, ELA (Error Level Analysis), or CFA (Color Filter Array). In this work, a multi-linear Faster RCNN network will be applied similarly but with the second stream having an input of the ELA JPEG compression level mask. This is shown to provide even higher accuracy by adding training features from the segmented image map to the network.

研究动机与目标

• 解决现有伪造检测方法依赖于伪造技术先验知识以提取相关特征的局限性。
• 利用基于深度学习的目标检测方法，提升图像中伪造区域的定位精度。
• 通过在原始图像和基于ELA的压缩图上联合训练统一模型，降低对手工设计特征的依赖。
• 与传统方法（如噪声分析、ELA或CFA）相比，实现更快的推理速度和更高的检测精度。
• 通过结合原始图像特征与ELA生成的压缩伪影，展示多路特征学习的有效性。

提出的方法

• 采用Faster R-CNN架构作为主干网络，集成区域建议网络（RPN）和卷积神经网络（CNN）以实现目标检测。
• 引入第二路输入流，将ELA生成的JPEG压缩等级掩码输入网络的并行分支。
• 通过双线性池化操作融合原始图像与ELA掩码的特征，捕捉跨模态交互信息。
• 在大规模多样化图像数据集上端到端训练模型，学习用于伪造定位的判别性特征。
• 借助现代GPU加速，实现在保持高检测精度的同时实现快速推理。
• 通过直接从数据中学习最优表征，避免对预定义特征的依赖。

实验结果

研究问题

• RQ1 将ELA掩码与Faster R-CNN主干网络结合，能否提升图像伪造伪影的定位能力？
• RQ2 在原始图像与ELA特征之间采用双线性融合机制，是否能相比单路输入模型提升检测精度？
• RQ3 与现有技术（如噪声分析、ELA或CFA）相比，该方法在精度和速度方面表现如何？
• RQ4 该模型在缺乏伪造方法先验知识的情况下，对多样化图像类型的泛化能力如何？
• RQ5 在图像和ELA输入流上进行端到端训练，能否消除对手工设计特征工程的需求？

主要发现

• 所提出的结合ELA输入的双线性Faster R-CNN在精度上优于当前最先进的方法，如噪声分析、ELA和CFA。
• 将ELA掩码作为第二路输入流，显著提升了伪造区域的定位精度。
• 得益于高效的GPU利用和端到端训练，模型实现了更快的推理速度。
• 原始图像与ELA掩码特征的双线性融合，有助于更好地检测细微的伪造伪影。
• 通过直接从数据中学习特征，该方法降低了对伪造技术先验知识的依赖。
• 该方法通过融合图像与压缩等级特征的互补信息，优于单路输入模型。