[论文解读] A Parameterized Approach to Personalized Variable Length Summarization of Soccer Matches

Mohak Sukhwani, Ravi Kothari|arXiv (Cornell University)|Jun 28, 2017

Video Analysis and Summarization参考文献 16被引用 4

一句话总结

本文提出了一种参数化、基于优化的方法，通过将比赛划分为“回合”、为每类回合分配用户指定的效用权重，并利用装箱算法在用户定义的时间限制内最大化摘要效用，从而生成个性化、可变长度的足球比赛视频摘要。该方法能够生成高度可定制、语义有意义的摘要，反映个人偏好，同时保持时间上的连贯性。

ABSTRACT

We present a parameterized approach to produce personalized variable length summaries of soccer matches. Our approach is based on temporally segmenting the soccer video into 'plays', associating a user-specifiable 'utility' for each type of play and using 'bin-packing' to select a subset of the plays that add up to the desired length while maximizing the overall utility (volume in bin-packing terms). Our approach systematically allows a user to override the default weights assigned to each type of play with individual preferences and thus see a highly personalized variable length summarization of soccer matches. We demonstrate our approach based on the output of an end-to-end pipeline that we are building to produce such summaries. Though aspects of the overall end-to-end pipeline are human assisted at present, the results clearly show that the proposed approach is capable of producing semantically meaningful and compelling summaries. Besides the obvious use of producing summaries of superior league matches for news broadcasts, we anticipate our work to promote greater awareness of the local matches and junior leagues by producing consumable summaries of them.

研究动机与目标

• 基于个体用户偏好，实现个性化、可变长度的足球比赛视频摘要。
• 系统性地允许用户以自定义优先级覆盖默认的回合权重。
• 生成保持时间顺序和上下文关系的语义连贯摘要。
• 开发一种可扩展、可扩展的框架，适用于职业级和地方级足球比赛。
• 为端到端自动化摘要流程奠定基础，最大限度减少人工干预。

提出的方法

• 使用视觉特征和光流表示中的变化点，将足球视频在时间上划分为‘回合’。
• 使用微调后的 YOLO 模型结合三帧邻域插值，以提高球员检测精度并减少误报。
• 仅从球员边界框中计算密集轨迹，以最小化非比赛区域带来的噪声。
• 为每类回合分配用户指定的效用权重，权重越高表示偏好越强。
• 应用装箱算法公式，选择一组回合，使其总效用最大化且不超出用户定义的时间限制。
• 确保所选片段的时间顺序，以保持最终摘要的叙事连贯性。

实验结果

研究问题

• RQ1 如何利用视觉和运动特征将足球比赛视频划分为语义上有意义的‘回合’？
• RQ2 如何系统性地将用户偏好编码为不同回合类型的效用权重？
• RQ3 装箱优化方法能否有效生成可变长度摘要，以最大化用户指定的效用？
• RQ4 与全帧表示相比，仅使用球员轨迹如何提升事件分割的鲁棒性？
• RQ5 在保持语义质量的前提下，该摘要流程在多大程度上可以实现自动化？

主要发现

• 三帧邻域插值将正确检测球员边界框的准确率提高了 12%，同时将误报降至最低，优于更大的邻域。
• 使用 5、7 和 9 帧插值时，误报率分别增加了 22%、32% 和 41%，证实三帧插值为最优方案。
• 仅使用球员轨迹的表示方式通过消除地面和观众像素的干扰，实现了更平滑、更准确的事件分割。
• 装箱算法成功生成了优先考虑用户指定回合的摘要，同时保持了时间顺序和语义连贯性。
• 即使在流程中人工干预极少，系统也表现出强劲性能，表明其具备高度自动化的潜力。
• 该方法支持灵活的摘要长度，并可同时处理单场比赛和多场比赛摘要（例如，赛事中的所有进球）。