[论文解读] Calibration Wizard: A Guidance System for Camera Calibration Based on Modelling Geometric and Corner Uncertainty

Songyou Peng, Peter Sturm|arXiv (Cornell University)|Nov 8, 2018

Optical measurement and interference techniques参考文献 19被引用 4

一句话总结

校准向导是一个交互式引导系统，通过几何和角点不确定性建模，计算最优相机标定所需的下一个最佳相机位姿。通过迭代选择能最大化内在参数估计信息增益的位姿，该系统仅使用5张图像即可实现与20张自由拍摄图像相当的标定精度，显著提升了基于运动恢复结构（SfM）流程中的三维重建质量。

ABSTRACT

It is well known that the accuracy of a calibration depends strongly on the choice of camera poses from which images of a calibration object are acquired. We present a system -- Calibration Wizard -- that interactively guides a user towards taking optimal calibration images. For each new image to be taken, the system computes, from all previously acquired images, the pose that leads to the globally maximum reduction of expected uncertainty on intrinsic parameters and then guides the user towards that pose. We also show how to incorporate uncertainty in corner point position in a novel principled manner, for both, calibration and computation of the next best pose. Synthetic and real-world experiments are performed to demonstrate the effectiveness of Calibration Wizard.

研究动机与目标

• 解决由于图像采集位姿不佳，特别是对不熟悉操作的用户，导致相机标定效果不佳的问题。
• 开发一种交互式系统，能够基于已有标定数据动态计算并引导用户前往下一个最佳相机位姿。
• 以系统化、严谨的方式将角点检测不确定性纳入标定与位姿选择过程。
• 在少于标准自由拍摄方式所需图像数量的前提下，提升标定精度与三维重建质量。
• 提供一种可推广的、与相机模型无关的解决方案，适用于单目相机和基于平面标定板的标定。

提出的方法

• 系统执行类似捆绑调整的非线性优化，以从获取的图像中估计内在参数。
• 对于每张新图像，通过最大化先前所有已获取图像中内在参数不确定性的期望减少量，计算下一个最佳位姿。
• 采用概率框架对角点不确定性进行建模，考虑标定和位姿计算过程中亚像素检测噪声的影响。
• 位姿选择基于所有可能相机位姿空间的全局优化，确保信息论最优性。
• 系统使用简单的图形用户界面，通过视觉提示引导用户前往计算出的最优位姿，位姿收敛后触发图像捕获。
• 该方法具有通用性，可适用于任意单目相机模型，并在标准镜头和广角镜头上进行了验证。

实验结果

研究问题

• RQ1 基于已有标定数据计算下一个最佳相机位姿的引导系统，是否能显著提升标定精度？
• RQ2 如何对角点不确定性进行建模，并将其系统性地整合到标定与位姿选择过程中，以提升鲁棒性与精度？
• RQ3 在少量引导标定图像下，能达到与大量自由拍摄图像相当的标定质量的程度如何？
• RQ4 在实际三维重建任务中，该系统是否优于标准自由拍摄标定方式及现有的基于策略的位姿建议方法？
• RQ5 该系统是否能有效应用于具有极端视场角的相机，如鱼眼镜头？

主要发现

• 仅使用5张图像（3张自由拍摄，2张由校准向导引导）时，SfM中的2D重建误差为14.4 ± 9.1像素，与20张自由拍摄图像（15.7 ± 10.5像素）的性能相当。
• 采用3张自由图像加4张向导建议图像的配置，2D误差中位数为10.6像素，优于7张自由拍摄图像（中位数31.7像素）。
• 3张自由图像加2张向导图像的配置将2D误差降低至17.4 ± 10.8像素，表明仅通过两次引导拍摄即可显著提升自由拍摄方式的标定效果。
• 系统计算下一个最佳位姿的时间约为3张图像0.4秒，15张图像1.5秒，在标准硬件上表现出实用的实时性能。
• 该方法在无GPU加速的情况下也实现了高精度，所有实际测试均在2.7 GHz Intel i5 CPU上运行。
• 结果证实，对角点不确定性进行建模可带来更鲁棒的标定与更优的位姿选择，尤其在信息量较低的情况下优势明显。