[论文解读] A Coarse-to-fine Deep Convolutional Neural Network Framework for Frame Duplication Detection and Localization in Forged Videos

Chengjiang Long, Arslan Basharat+1 more|arXiv (Cornell University)|Jan 1, 2019

Digital Media Forensic Detection被引用 11

一句话总结

本文提出一种基于I3D和孪生残差网络（Siamese ResNet）架构的粗到细深度学习框架，用于检测和定位伪造视频中的帧重复。通过结合视频级伪造评分与帧级不一致性检测，该方法在两个基准数据集上实现了最先进性能。

ABSTRACT

Videos can be manipulated by duplicating a sequence of consecutive frames with the goal of concealing or imitating a specific content in the same video. In this paper, we propose a novel coarse-to-fine framework based on deep Convolutional Neural Networks to automatically detect and localize such frame duplication. First, an I3D network finds coarse-level matches between candidate duplicated frame sequences and the corresponding selected original frame sequences. Then a Siamese network based on ResNet architecture identifies fine-level correspondences between an individual duplicated frame and the corresponding selected frame. We also propose a robust statistical approach to compute a video-level score indicating the likelihood of manipulation or forgery. Additionally, for providing manipulation localization information we develop an inconsistency detector based on the I3D network to distinguish the duplicated frames from the selected original frames. Quantified evaluation on two challenging video forgery datasets clearly demonstrates that this approach performs significantly better than four recent state-of-the-art methods.

研究动机与目标

• 为应对在视频篡改中常见的一种技术——通过帧重复来隐藏或模仿内容，解决其检测挑战。
• 开发一种方法，既能检测重复的存在，又能精确地定位视频中重复的帧。
• 在检测准确率和伪造视频定位精度方面，优于现有的最先进方法。
• 通过深度特征的统计分析，提供一个稳健的视频级评分，以指示伪造的可能性。
• 通过专用的不一致性检测器，实现在细粒度上区分重复帧与原始帧。

提出的方法

• 采用两阶段框架：首先，使用I3D网络在粗粒度上识别重复帧序列与原始帧序列之间的匹配。
• 其次，基于ResNet架构的孪生网络对单个重复帧与其对应的原始帧进行细粒度对应匹配。
• 采用统计方法计算视频级评分，基于深度特征评估整体篡改可能性。
• 训练一个基于I3D的不一致性检测器，以在帧级别区分重复帧与原始帧。
• 将粗粒度检测与细粒度定位相结合，以提升伪造识别的准确率与精度。
• 在两个具有挑战性的视频伪造数据集上端到端评估该方法，以验证其性能。

实验结果

研究问题

• RQ1 该粗到细的深度学习框架在检测伪造视频中的帧重复方面效果如何？
• RQ2 基于孪生ResNet架构的方法能否提升重复帧与原始帧之间的细粒度对应匹配性能？
• RQ3 所提出的视频级伪造评分与实际存在的重复帧之间相关性如何？
• RQ4 不一致性检测器在高精度下对重复帧的定位能力有多强？
• RQ5 与四种近期最先进方法相比，该方法在检测与定位性能上的表现如何？

主要发现

• 所提出的框架在两个具有挑战性的视频伪造数据集上显著优于四种近期最先进方法。
• 粗到细的设计不仅实现了对重复帧序列的准确检测，还提升了定位精度。
• 通过稳健的统计分析计算出的视频级评分，能有效指示伪造的可能性。
• 基于I3D的不一致性检测器能够以高可靠性区分重复帧与原始帧。
• 将I3D用于粗粒度匹配，同时结合孪生ResNet进行细粒度匹配，显著提升了整体性能。
• 定量评估结果证实了该方法在检测与定位任务中的有效性。