[论文解读] Large-scale, Fast and Accurate Shot Boundary Detection through Spatio-temporal Convolutional Neural Networks

Ahmed Hassanien, Mohamed Elgharib+4 more|arXiv (Cornell University)|May 9, 2017

Advanced Vision and Imaging参考文献 3被引用 44

一句话总结

本文提出 DeepSBD，一种用于大规模、快速且高精度的镜头切变检测（SBD）的时空卷积神经网络（CNN）。通过利用一个包含 350 万帧的新型合成数据集，其标注极为精确——包括困难的负样本（无过渡样本）——该方法在渐变和划变过渡中实现了最先进性能，且推理速度比现有方法快至 11 倍。

ABSTRACT

Shot boundary detection (SBD) is an important pre-processing step for video manipulation. Here, each segment of frames is classified as either sharp, gradual or no transition. Current SBD techniques analyze hand-crafted features and attempt to optimize both detection accuracy and processing speed. However, the heavy computations of optical flow prevents this. To achieve this aim, we present an SBD technique based on spatio-temporal Convolutional Neural Networks (CNN). Since current datasets are not large enough to train an accurate SBD CNN, we present a new dataset containing more than 3.5 million frames of sharp and gradual transitions. The transitions are generated synthetically using image compositing models. Our dataset contain additional 70,000 frames of important hard-negative no transitions. We perform the largest evaluation to date for one SBD algorithm, on real and synthetic data, containing more than 4.85 million frames. In comparison to the state of the art, we outperform dissolve gradual detection, generate competitive performance for sharp detections and produce significant improvement in wipes. In addition, we are up to 11 times faster than the state of the art.

研究动机与目标

• 解决镜头切变检测（SBD）中检测精度与处理速度之间的权衡问题，SBD 是视频处理中关键的预处理步骤。
• 克服手工设计特征与基于光流方法的局限性，后者或精度不足，或计算成本过高。
• 通过创建大规模、高质量的合成数据集并进行精确标注，实现深度 CNN 在 SBD 中的有效训练。
• 提升对具有挑战性的过渡类型（尤其是划变）的检测性能，这些类型在以往方法中处理效果不佳。
• 实现实时推理速度，以支持对低延迟视频处理有要求的应用。

提出的方法

• 设计一种受 C3D 启发的 3D CNN 架构，用于在 16 帧的视频片段上联合建模空间与时间特征。
• 在大规模合成数据集（SBD_Syn）上训练网络，该数据集包含 350 万帧中的 220,339 个合成镜头过渡（包括突变与渐变）。
• 通过包含 70,000 个手工标注的无过渡帧的困难负样本数据集（SBD_BT）增强训练，以提升精度。
• 利用图像合成模型生成逼真的透明度蒙版与合成过渡，包括一个专门的 110 万帧划变子集（UCF101_SBD）。
• 利用 GPU 加速与批量处理技术，实现高速推理，Titan X 上的实时加速因子最高达 19.3。
• 在合成数据与真实世界数据（包括 TRECVID 2005 和 Baraldi 等人数据集）上进行评估，以验证模型的泛化能力。

实验结果

研究问题

• RQ1 基于深度 CNN 的方法是否能在保持高速的同时，优于传统手工设计特征方法在镜头切变检测中的精度？
• RQ2 大规模、精确标注的合成数据集是否能有效支持深度 CNN 在 SBD 中的训练，特别是针对稀有或难以检测的过渡类型（如划变）？
• RQ3 与当前最先进基于光流的 SBD 技术相比，所提方法在性能与速度上表现如何？
• RQ4 网络是否能学习到能有效区分突变、渐变与无过渡帧的判别性时空模式？
• RQ5 引入困难负样本是否能显著提升检测器的精度，特别是降低误报率？

主要发现

• 在渐变过渡上，DeepSBD 的 F1 分数达到 0.992，优于当前最先进方法在溶解检测中的表现。
• 在突变过渡上，模型的 F1 分数达到 0.992，与现有方法相比表现出竞争力。
• 对于此前重大挑战的划变类型，DeepSBD 的 F1 分数达到 0.956，显著优于以往工作。
• 模型的实时加速因子达到 19.3，使其速度比性能最佳的基于光流的方法（Liu et al.）快至 11 倍。
• 滤波器激活热力图显示，突变过渡在时间维度上产生突然、明亮的水平条纹，而渐变过渡则呈现模糊响应，证实网络学习到了有意义的时空模式。
• 在 UCF101_SBD 上评估时，模型在所有类别上均优于先前方法，性能高于在 TRECVID 序列上报告的结果，可能归因于标注质量更优。