[论文解读] Fast Video Shot Transition Localization with Deep Structured Models

Shitao Tang, Litong Feng+3 more|ArXiv.org|Aug 13, 2018

Video Analysis and Summarization参考文献 23被引用 11

一句话总结

本文提出了一种用于视频镜头切换定位的快速、两阶段级联框架，通过专用的深度学习模型分别检测切变和渐变过渡。通过采用轻量级过滤模块，随后使用专门的切变和渐变过渡检测器，该方法在 TRECVID07 和 RAI 数据集上实现了 30 倍实时速度和最先进性能，同时引入了一个新的大规模数据集 ClipShots 用于训练和评估。

ABSTRACT

Detection of video shot transition is a crucial pre-processing step in video analysis. Previous studies are restricted on detecting sudden content changes between frames through similarity measurement and multi-scale operations are widely utilized to deal with transitions of various lengths. However, localization of gradual transitions are still under-explored due to the high visual similarity between adjacent frames. Cut shot transitions are abrupt semantic breaks while gradual shot transitions contain low-level spatial-temporal patterns caused by video effects in addition to the gradual semantic breaks, e.g. dissolve. In order to address the problem, we propose a structured network which is able to detect these two shot transitions using targeted models separately. Considering speed performance trade-offs, we design a smart framework. With one TITAN GPU, the proposed method can achieve a 30\( imes\) real-time speed. Experiments on public TRECVID07 and RAI databases show that our method outperforms the state-of-the-art methods. In order to train a high-performance shot transition detector, we contribute a new database ClipShots, which contains 128636 cut transitions and 38120 gradual transitions from 4039 online videos. ClipShots intentionally collect short videos for more hard cases caused by hand-held camera vibrations, large object motions, and occlusion.

研究动机与目标

• 解决在视频流中准确定位突然切变和渐变过渡（例如溶解）的挑战。
• 克服先前方法仅使用单一相似性函数的局限性，这些方法由于帧间相似度过高而难以处理渐变过渡。
• 通过引入具有早期过滤和目标检测器的级联框架，在不牺牲准确率的前提下提升检测速度。
• 提供一个大规模、多样化的训练数据集，以支持高性能深度学习模型在镜头边界检测中的应用。
• 实现在各种视频条件下的鲁棒性能，包括遮挡、运动和光照变化。

提出的方法

• 在第一阶段应用基于自适应阈值的轻量级过滤模块，以多尺度方式快速识别候选过渡区域，将搜索空间减少高达 50%。
• 使用基于 2D ConvNet 的切变过渡检测器，学习连续帧之间的图像相似性函数，以检测突然的语义断裂。
• 设计一种新型基于 C3D ConvNet 的渐变过渡检测器，以捕捉视频片段中的多尺度时空模式，实现渐变过渡的定位。
• 采用单次边界检测（SSBD）策略，受默认框启发，以提高渐变过渡定位的准确性。
• 集成级联架构，其中过滤阶段加速处理流程，而两个专用检测器则以高精度细化预测结果。
• 使用新引入的 ClipShots 数据集进行模型训练，该数据集包含来自 4,039 段在线视频的 128,636 个切变和 38,120 个渐变过渡，涵盖相机抖动、遮挡等具有挑战性的条件。

实验结果

研究问题

• RQ1 具有专用检测器的两阶段级联框架是否能在检测切变和渐变镜头切换方面优于统一模型？
• RQ2 轻量级过滤模块在多大程度上能加速镜头边界检测，同时保持两类过渡的召回率？
• RQ3 专用的基于 C3D 的模型在不同长度和视觉模式下定位渐变过渡的效率如何？
• RQ4 像 ClipShots 这样大规模、多样化的视频数据集是否能提升基于深度学习的镜头边界检测器的泛化能力和性能？
• RQ5 在镜头切换检测中，速度与准确率之间的权衡如何？能否在不牺牲精度的前提下实现实时性能？

主要发现

• 所提方法在单张 TITAN GPU 上实现了 30 倍实时推理速度，显著优于先前方法（如 deepSBD）。
• 在 TRECVID07 数据集上，该方法在原始标签下将切变过渡的 F1 分数提升 0.6%（F1 = 0.980），渐变过渡的 F1 分数提升 2.9%（F1 = 0.810），达到最先进水平。
• 在 TRECVID07 数据集上使用修正后的真实标签后，该方法在渐变过渡上的 F1 分数提升达 6.4%（F1 = 0.841），证明了其鲁棒性和准确性。
• 在 RAI 数据集上，该方法实现了具有竞争力的性能，F1 分数为 0.935，优于 deepSBD（0.934），且未使用后处理过滤。
• 渐变过渡检测器保持了出色的定位性能，在 IOU 阈值为 0.75 时达到 F1 分数 0.618，表明边界定位精确。
• ClipShots 数据集包含 128,636 个切变和 38,120 个渐变过渡，是首个大规模、公开可用的镜头边界检测基准，可支持未来研究。