[论文解读] Automated Top View Registration of Broadcast Football Videos

Rahul Sharma, Bharath Bhat+2 more|arXiv (Cornell University)|Mar 4, 2017

Video Analysis and Summarization参考文献 22被引用 9

一句话总结

该论文提出了一种完全自动化的方法，通过将单应性估计表述为在合成生成的边缘图与投影变换字典中进行最近邻搜索，实现广播足球视频与静态俯视场地图像模型的配准。该方法在优化后达到87%的平均交并比（IOU），优于人工初始化方法，实现了无需人工干预的鲁棒、可扩展的足球视频分析。

ABSTRACT

In this paper, we propose a novel method to register football broadcast video frames on the static top view model of the playing surface. The proposed method is fully automatic in contrast to the current state of the art which requires manual initialization of point correspondences between the image and the static model. Automatic registration using existing approaches has been difficult due to the lack of sufficient point correspondences. We investigate an alternate approach exploiting the edge information from the line markings on the field. We formulate the registration problem as a nearest neighbour search over a synthetically generated dictionary of edge map and homography pairs. The synthetic dictionary generation allows us to exhaustively cover a wide variety of camera angles and positions and reduce this problem to a minimal per-frame edge map matching procedure. We show that the per-frame results can be improved in videos using an optimization framework for temporal camera stabilization. We demonstrate the efficacy of our approach by presenting extensive results on a dataset collected from matches of football World Cup 2014.

研究动机与目标

• 通过利用基于边缘的特征而非点对应关系，消除足球视频配准中的手动初始化过程。
• 解决广播足球视频中纹理缺失的场地和动态摄像机运动带来的挑战。
• 通过半监督的合成字典生成方法，实现在无须人工干预情况下的可扩展、自动化的俯视配准。
• 通过使用马尔可夫随机场（MRF）和凸优化的时间优化方法，提升逐帧配准的精度。
• 使高质量的足球追踪数据能够从免费获取的广播视频中获得，而无需依赖专用摄像系统。

提出的方法

• 该方法将单应性估计表述为在预计算的合成边缘图与单应性对字典中进行最近邻搜索。
• 采用半监督方法，通过少量人工标注的示例模拟摄像机视角，生成覆盖多种角度和位置的字典。
• 使用HOG、Chamfer匹配和基于CNN的特征提取边缘特征，其中HOG + k-NN在无需大规模标注的情况下表现出良好性能。
• 通过马尔可夫随机场（MRF）优化对逐帧单应性预测进行优化，以提升时间一致性。
• 采用凸优化框架对摄像机运动轨迹进行平滑处理，减少抖动并模拟专业摄像机行为。
• 利用估计的单应性将球员位置从广播画面投影到俯视场模型上，从而支持后续分析。

实验结果

研究问题

• RQ1 是否能够完全自动化地实现广播足球视频与静态俯视场地图像模型的配准，而无需手动初始化？
• RQ2 来自场地标记的基于边缘的特征是否能够在纹理缺失、动态变化的场景中可靠地估计单应性？
• RQ3 合成生成的边缘图与单应性字典在多大程度上能覆盖真实世界中的摄像机变化？
• RQ4 时间优化是否能够提升逐帧单应性估计的准确性和稳定性？
• RQ5 该方法在具有变焦、运动模糊、阴影和镜头切换等复杂情况的真实广播视频中，其泛化能力如何？

主要发现

• 在逐帧估计单应性时，该方法达到85%的平均IOU，显著优于基于SIFT的追踪器（70%）和基于KLT的方法（35%）在相同数据集上的表现。
• 在应用基于MRF的优化后，平均IOU提升至87%，证明了时间平滑的有效性。
• 该方法在阴影、运动模糊、极端摄像机角度和变焦变化等复杂条件下表现良好，定性结果已验证其有效性。
• 摄像机运动轨迹的凸优化有效消除了抖动，生成了平滑、专业级的摄像机行为，如俯仰角曲线所示。
• 半监督字典生成方法在无需标注数千张图像的情况下，实现了对多样化摄像机视角的稳健覆盖。
• 该方法完全自动化且可扩展，使高质量的俯视追踪数据能够从标准广播视频中获取，而无需安装专用摄像系统。