[论文解读] ElasticPlay: Interactive Video Summarization with Dynamic Time Budgets

Haojian Jin, Yale Song+1 more|arXiv (Cornell University)|Aug 23, 2017

Video Analysis and Summarization参考文献 34被引用 5

一句话总结

ElasticPlay 引入了一种交互式视频摘要系统，允许用户在播放过程中动态调整时间预算，通过选择性快进和镜头跳过实现实时优化视频内容。Cut-and-Forward (CaF) 算法将此问题形式化为 0/1 背包问题的一种变体，以在时间约束下最大化理解程度，在 TVSum50 数据集上优于现有方法，并在研究中展现出强烈的用户偏好。

ABSTRACT

Video consumption is being shifted from sit-and-watch to selective skimming. Existing video player interfaces, however, only provide indirect manipulation to support this emerging behavior. Video summarization alleviates this issue to some extent, shortening a video based on the desired length of a summary as an input variable. But an optimal length of a summarized video is often not available in advance. Moreover, the user cannot edit the summary once it is produced, limiting its practical applications. We argue that video summarization should be an interactive, mixed-initiative process in which users have control over the summarization procedure while algorithms help users achieve their goal via video understanding. In this paper, we introduce ElasticPlay, a mixed-initiative approach that combines an advanced video summarization technique with direct interface manipulation to help users control the video summarization process. Users can specify a time budget for the remaining content while watching a video; our system then immediately updates the playback plan using our proposed cut-and-forward algorithm, determining which parts to skip or to fast-forward. This interactive process allows users to fine-tune the summarization result with immediate feedback. We show that our system outperforms existing video summarization techniques on the TVSum50 dataset. We also report two lab studies (22 participants) and a Mechanical Turk deployment study (60 participants), and show that the participants responded favorably to ElasticPlay.

研究动机与目标

• 为解决静态视频摘要的局限性，即最优摘要长度通常事先未知。
• 实现实时、用户驱动的摘要，能够根据播放过程中的用户上下文和内容质量变化进行自适应调整。
• 将直接操作（时间预算滑块）与自动视频理解相结合，构建混合主动性界面。
• 通过结合选择性快进与镜头选择，优化用户理解力，提升摘要质量。
• 通过受控实验和大规模部署评估系统的可用性、透明度与有效性。

提出的方法

• 用户通过时间预算滑块指定希望用于剩余视频内容的时间。
• Cut-and-Forward (CaF) 算法将视频摘要形式化为一个优化问题，通过选择显著镜头并分配播放速度以最大化理解程度。
• 该算法使用 0/1 背包问题的变体，其中物品为带有相关理解增益和时间成本的视频镜头。
• 理解增益通过心理学中的 WF 法律建模，该法律描述了播放速度与理解速率之间的关系。
• 系统实时计算最优播放计划，动态调整跳过、快进或正常速度播放的镜头。
• 逐镜头可视化（含缩略图和透明度指示器）为摘要策略提供即时反馈。

实验结果

研究问题

• RQ1 与静态或预计算摘要相比，动态时间预算是否能提升用户在视频摘要中的控制力与满意度？
• RQ2 结合实时反馈的混合主动性界面是否能增强用户对摘要过程的理解？
• RQ3 在理解力与用户偏好方面，结合选择性快进与镜头选择是否优于传统的基于 0/1 背包问题的摘要方法？
• RQ4 用户在观看视频时，如何根据内容质量和上下文调整其时间预算行为？
• RQ5 系统的透明度与实时调节在多大程度上提升了用户的控制感与可用性感知？

主要发现

• 在 TVSum50 数据集上，ElasticPlay 在摘要准确率方面优于现有视频摘要技术。
• 在 22 名参与者的实验室研究中，用户对 ElasticPlay 的实用性表示高度满意（平均分 µ = 7.8），并认为界面有助于理解摘要过程（µ = 6.6）。
• 在 60 名参与者的 Mechanical Turk 部署中，用户认为系统有用（µ = 6.13），愿意再次使用（µ = 6.27），并赞赏其透明度（µ = 7.73）。
• 参与者报告称会自适应地使用时间预算滑块——当内容被认为不重要或无趣时会降低预算。
• 镜头可视化被视作理解摘要策略的有力辅助工具，部分用户请求在交互过程中将该功能作为屏幕叠加显示。
• 系统提供即时反馈与实时调节的能力是用户偏好的关键因素，有效缓解了用户对遗漏重要内容的焦虑。