[论文解读] Localization of Ice-Rink for Broadcast Hockey Videos

Mehrnaz Fani, Pascale Walters+3 more|arXiv (Cornell University)|Apr 22, 2021

Video Analysis and Summarization参考文献 13被引用 6

一句话总结

本文提出了一种简单但有效的框架，用于在广播视频中自动定位冰球冰场。该方法基于ResNet18回归器，为每帧预测四个控制点，随后使用Hann窗进行轨迹平滑，以消除单帧之间单应性估计的抖动。该方法在新收集的冰球视频数据集上验证，实现了稳定且视觉连续的结果，同时不降低精度，平均IOU达到94.65%，平滑后平滑度得分降低32.86分。

ABSTRACT

In this work, an automatic and simple framework for hockey ice-rink localization from broadcast videos is introduced. First, video is broken into video-shots by a hierarchical partitioning of the video frames, and thresholding based on their histograms. To localize the frames on the ice-rink model, a ResNet18-based regressor is implemented and trained, which regresses to four control points on the model in a frame-by-frame fashion. This leads to the projection jittering problem in the video. To overcome this, in the inference phase, the trajectory of the control points on the ice-rink model are smoothed, for all the consecutive frames of a given video-shot, by convolving a Hann window with the achieved coordinates. Finally, the smoothed homography matrix is computed by using the direct linear transform on the four pairs of corresponding points. A hockey dataset for training and testing the regressor is gathered. The results show success of this simple and comprehensive procedure for localizing the hockey ice-rink and addressing the problem of jittering without affecting the accuracy of homography estimation.

研究动机与目标

• 解决体育视频分析中逐帧单应性估计的抖动问题。
• 开发一种鲁棒的端到端流水线，用于从广播视频中定位冰球冰场。
• 构建一个公开可用的新数据集，用于冰球视频镜头定位，以支持未来研究。
• 通过平滑控制点轨迹来提高形变视频序列的视觉连续性，同时不降低定位精度。

提出的方法

• 使用基于阈值的直方图方法进行镜头边界检测，将视频分割为视频镜头。
• 训练一个基于ResNet18的回归器，为每个输入视频帧预测冰场模型上的四个控制点。
• 使用Hann窗卷积对连续帧之间的控制点轨迹进行平滑，以减少抖动。
• 利用四个平滑后的控制点对，通过直接线性变换（DLT）算法计算平滑后的单应性矩阵。
• 该方法独立处理每个视频镜头，确保镜头内的时序一致性。
• 收集并使用了一个包含72个冰球视频镜头的新数据集，包含关键帧和真实标注的单应性矩阵，用于训练与评估。

实验结果

研究问题

• RQ1 简单的逐帧回归方法是否能在广播冰球视频中实现准确的冰场定位？
• RQ2 对预测控制点的轨迹进行平滑是否能有效减少单应性估计的抖动，同时不降低精度？
• RQ3 与最先进方法相比，所提出的平滑方法在定位精度和视觉平滑度方面表现如何？
• RQ4 使用自建的冰球视频数据集在多大程度上提升了定位框架的泛化能力和可靠性？

主要发现

• 平滑后，该方法的平均IOU达到94.65%，表明定位精度很高。
• 所有测试镜头的平均平滑度得分从平滑前的140.02降至平滑后的107.15，降低了32.86分。
• 平滑步骤显著减少了控制点轨迹的抖动，如图2所示的视觉验证结果所示，从而实现了更平滑的视频形变。
• 该方法保持了高精度，平滑后IOU或投影点方差无显著下降，表明其鲁棒性。
• 新收集的72个镜头的冰球视频数据集（含真实标注的单应性）已公开，支持可复现的评估。
• 与SFF基线相比，所提方法实现了更高的IOU（94.65 vs. 90.1）和更优的平滑度，证实其在视觉质量上的优越性。