[论文解读] A Two-point Method for PTZ Camera Calibration in Sports

Jianhui Chen, Fangrui Zhu+1 more|arXiv (Cornell University)|Jan 26, 2018

Advanced Vision and Imaging参考文献 30被引用 6

一句话总结

该论文提出了一种基于相机底座位置和姿态先验知识的两点法，用于校准体育视频中的PTZ摄像头，仅需两个三维-二维点对应即可实现高精度校准。此外，该方法引入了一种全景-俯仰森林随机森林模型，通过局部图像块直接预测相机角度，无需图像间匹配，从而在合成与真实足球数据集上实现了比现有最先进方法更快、更精确的校准。

ABSTRACT

Calibrating narrow field of view soccer cameras is challenging because there are very few field markings in the image. Unlike previous solutions, we propose a two-point method, which requires only two point correspondences given the prior knowledge of base location and orientation of a pan-tilt-zoom (PTZ) camera. We deploy this new calibration method to annotate pan-tilt-zoom data from soccer videos. The collected data are used as references for new images. We also propose a fast random forest method to predict pan-tilt angles without image-to-image feature matching, leading to an efficient calibration method for new images. We demonstrate our system on synthetic data and two real soccer datasets. Our two-point approach achieves superior performance over the state-of-the-art method.

研究动机与目标

• 解决在体育视频中因可见场地区域标记较少而难以校准窄视场角PTZ摄像头的挑战。
• 减少现有校准流程中对耗时的人工标注和图像间特征匹配的依赖。
• 通过利用已知的相机底座参数，仅使用两个点对应关系，实现高效且精确的校准。
• 开发一种基于局部图像描述符的快速预测方法，直接从图像块预测全景-俯仰角度，无需与参考图像匹配。
• 在真实世界和合成足球视频数据集上，展示对现有最先进方法的鲁棒性和优越性能。

提出的方法

• 该方法采用两点算法，通过两个世界三维点及其在图像中的二维投影，估计相机位姿（全景、俯仰、焦距），假设相机底座位置和方向固定。
• 通过点对应关系和归一化的三维坐标，推导出焦距的闭式解，该解来源于一个二次方程。
• 利用随机森林回归，在局部SIFT描述符上训练全景-俯仰森林，直接从图像块预测全景和俯仰角度。
• 全景-俯仰森林通过学习局部图像特征到相机角度的映射关系，绕过图像间特征匹配，该映射关系基于参考图像数据库进行学习。
• 使用RANSAC对相机位姿进行优化，以预测角度作为初始估计，提升对特征噪声的鲁棒性。
• 该方法假设无镜头畸变，采用简化的相机模型，联合估计内参和外参，仅基于两个点。

实验结果

研究问题

• RQ1 当仅有两个可见场地区域标记时，两点校准方法是否能在窄视场角PTZ摄像头中实现精确的相机位姿估计？
• RQ2 基于随机森林的全景-俯仰预测模型是否能消除对图像间特征匹配的需求，并显著加快校准速度？
• RQ3 在真实和合成足球视频数据上，该方法与现有最先进校准技术相比，在精度和速度方面表现如何？
• RQ4 在特征点位置存在噪声和相机底座参数存在不确定性的情况下，该方法的鲁棒性如何？
• RQ5 该两点法是否可推广至其他具有类似相机约束和有限可见场地区域标记的体育项目？

主要发现

• 在合成和真实足球数据集上，两点法的校准精度均优于现有最先进方法。
• 全景-俯仰森林方法通过消除图像间特征匹配的需求，显著缩短了校准时间，实现了新图像的快速推理。
• 该方法对特征点位置噪声和相机中心估计不确定性均表现出鲁棒性，且保持高精度。
• 全景-俯仰森林的性能在仅使用5棵树时即有明显提升，表明其在极低模型复杂度下仍能高效学习。
• 该系统在两个真实足球数据集上成功实现了校准，其精度高于现有方法，运行时间更低。
• 即使仅有两个可见场地区域点，该方法仍能有效工作，适用于体育转播中常见的窄视场角PTZ摄像头。