[论文解读] Image Conditioned Keyframe-Based Video Summarization Using Object Detection

Neeraj Baghel, Suresh Chandra Raikwar+1 more|arXiv (Cornell University)|Sep 11, 2020

Video Analysis and Summarization参考文献 24被引用 8

一句话总结

该论文提出了一种基于图像条件的关键帧视频摘要方法，利用目标检测和全局显著性特征来提升用户偏好建模效果。通过引入数学损失函数和基于方差的阈值设定方法，该方法减少了冗余，并在UTE数据集上实现了57.06%的平均F1分数——比当前最先进方法高出11.01%，同时处理速度达到实时的7.81倍。

ABSTRACT

Video summarization plays an important role in selecting keyframe for understanding a video. Traditionally, it aims to find the most representative and diverse contents (or frames) in a video for short summaries. Recently, query-conditioned video summarization has been introduced, which considers user queries to learn more user-oriented summaries and its preference. However, there are obstacles in text queries for user subjectivity and finding similarity between the user query and input frames. In this work, (i) Image is introduced as a query for user preference (ii) a mathematical model is proposed to minimize redundancy based on the loss function & summary variance and (iii) the similarity score between the query image and input video to obtain the summarized video. Furthermore, the Object-based Query Image (OQI) dataset has been introduced, which contains the query images. The proposed method has been validated using UT Egocentric (UTE) dataset. The proposed model successfully resolved the issues of (i) user preference, (ii) recognize important frames and selecting that keyframe in daily life videos, with different illumination conditions. The proposed method achieved 57.06% average F1-Score for UTE dataset and outperforms the existing state-of-theart by 11.01%. The process time is 7.81 times faster than actual time of video Experiments on a recently proposed UTE dataset show the efficiency of the proposed method

研究动机与目标

• 通过用更能反映用户偏好的图像查询替代文本查询，解决视频摘要中的用户主观性问题。
• 通过基于摘要方差和相似性分数的新型数学模型，减少关键帧选择中的冗余。
• 在光照条件多变的日常视频中，提升关键帧选择的准确性。
• 构建一个新的数据集——基于物体的查询图像（OQI），以支持视频摘要任务中的查询图像选择。
• 通过低层次视觉特征与自适应阈值设定，实现在普通硬件上的高效、实时视频摘要。

提出的方法

• 将图像查询作为用户偏好信号，利用目标检测提取局部特征，通过显著区域提取全局特征。
• 引入损失函数，基于查询图像与视频帧之间的相似性计算关键帧选择得分。
• 应用摘要方差公式，以最小化所选关键帧之间的冗余。
• 采用基于标准差的自适应阈值方法，动态选择关键帧。
• 使用二分图匹配方法，结合交并比（IOU）计算精确率、召回率和F1分数。
• 通过分割、特征提取、帧评分与摘要生成的流水线工作流处理视频。

实验结果

研究问题

• RQ1 在视频摘要中，图像查询是否能比文本查询更好地建模用户偏好？
• RQ2 如何通过数学模型最小化所选关键帧之间的冗余？
• RQ3 结合目标检测与显著性特征在多大程度上提升了关键帧选择的准确性？
• RQ4 基于相似性与方差的损失函数是否能提升真实世界第一人称视频摘要的性能？
• RQ5 与现有最先进方法相比，所提方法在速度与准确性方面表现如何？

主要发现

• 所提方法在UTE数据集上实现了57.06%的平均F1分数，比现有最先进方法高出11.01%。
• 该方法将处理时间缩短至实际视频时长的1/7.81，实现了近实时摘要。
• 视觉结果表明，该方法能有效利用带有“或”逻辑的图像查询捕捉相关镜头（如人物或车辆）。
• 成功构建了OQI数据集，以支持视频摘要任务中的查询图像选择。
• 基于标准差的自适应阈值方法在光照条件变化下显著提升了关键帧选择的鲁棒性。
• 目标检测（局部）与显著性（全局）特征的结合显著提升了摘要质量与用户偏好的匹配度。