[论文解读] Leveraging Contextual Cues for Generating Basketball Highlights

Vinay Bettadapura, Caroline Pantofaru+1 more|arXiv (Cornell University)|Jun 29, 2016

Video Analysis and Summarization参考文献 17被引用 5

一句话总结

本文提出了一种通过结合视觉线索（运动）与比赛环境中的上下文线索——如音频、分差、球员排名和投篮类型——使用经交叉验证训练的加权和模型，自动生成高质量篮球精彩集锦的方法。用户研究表明，该系统生成的精彩集锦在感知兴奋度方面与ESPN人工编辑的精彩集锦相当。

ABSTRACT

The massive growth of sports videos has resulted in a need for automatic generation of sports highlights that are comparable in quality to the hand-edited highlights produced by broadcasters such as ESPN. Unlike previous works that mostly use audio-visual cues derived from the video, we propose an approach that additionally leverages contextual cues derived from the environment that the game is being played in. The contextual cues provide information about the excitement levels in the game, which can be ranked and selected to automatically produce high-quality basketball highlights. We introduce a new dataset of 25 NCAA games along with their play-by-play stats and the ground-truth excitement data for each basket. We explore the informativeness of five different cues derived from the video and from the environment through user studies. Our experiments show that for our study participants, the highlights produced by our system are comparable to the ones produced by ESPN for the same games.

研究动机与目标

• 为解决人工编辑体育精彩集锦在可扩展性和质量方面的局限性，通过自动化精彩集锦生成流程。
• 探究除原始视频特征外，比赛环境中的上下文线索是否能提升精彩集锦的质量。
• 开发一种结合环境线索与视觉线索的方法，对篮球投篮按兴奋度进行排序。
• 通过用户研究，将系统性能与专业编辑的精彩集锦进行对比评估。
• 发布一个包含25场NCAA比赛的新数据集，包含1,173个投篮、逐回合统计数据和真实兴奋度评分，供研究使用。

提出的方法

• 系统提取五种线索：运动（来自视频）、音频（来自观众和解说员）、分差、球员排名以及投篮类型（如扣篮与上篮）。
• 每种线索均被处理，为每场比赛中的每个投篮生成一个数值化的兴奋度评分。
• 通过25折交叉验证在数据集上学习权重，使用加权和模型将这些线索组合成最终的兴奋度评分。
• 通过选择按组合兴奋度评分排名前n位的投篮，并按时间顺序拼接，生成精彩集锦。
• 通过在Amazon Mechanical Turk上进行成对A/B用户研究收集真实兴奋度数据，参与者需比较两个投篮并选择更兴奋的一个。
• 通过额外的A/B研究评估系统性能，将系统输出与ESPN精彩集锦及随机集锦进行对比。

实验结果

研究问题

• RQ1 与仅使用视觉线索相比，比赛环境中的上下文线索（如音频、比分、球员数据）是否能提升自动精彩集锦生成的准确性？
• RQ2 个体上下文线索（如音频、分差）在预测人类感知的篮球动作兴奋度方面有多有效？
• RQ3 通过学习的加权模型组合多种线索，是否能生成与专业编辑的ESPN精彩集锦质量相当的集锦？
• RQ4 在用户偏好方面，该系统的性能与随机选择精彩集锦相比如何？
• RQ5 音频和视频模态在人类对篮球精彩集锦兴奋度感知中的独立贡献程度如何？

主要发现

• 线索组合模型在预测用户感知兴奋度方面显著优于单一线索，组合方法在用户研究中表现出更高的判断一致性。
• 用户研究表明，在10场比赛中有7场更偏好系统生成的精彩集锦而非随机集锦，所有用户中的中位用户一致率为61.29%。
• 在篮球球迷中，系统生成的精彩集锦在10场比赛中有8场更受青睐，中位一致率为53.33%。
• ESPN精彩集锦在10场比赛中有7场更受青睐（中位一致率54.84%），表明由于兴奋度的主观性，随机集锦仍表现中等良好。
• 单独测试时，仅音频和仅视频的A/B测试中一致率显著下降（分别从80%降至59.7%和59.82%），表明两种模态对可靠兴奋度感知均至关重要。
• 用户研究表明，系统最终生成的精彩集锦在质量上与ESPN人工编辑的精彩集锦相当，且在多次对比中系统输出获得统计上显著的偏好。