[论文解读] Learning-Based Framework for Camera Calibration with Distortion Correction and High Precision Feature Detection

Yesheng Zhang, Xu Zhao+1 more|arXiv (Cornell University)|Feb 1, 2022

Optical measurement and interference techniques被引用 7

一句话总结

该论文提出了一种基于学习的相机标定框架，整合了深度学习用于径向畸变校正、通过热力图学习实现亚像素级国际象棋棋盘角点检测并结合异常值剔除与共线性后处理，以及基于图像级别的RANSAC实现稳定参数估计。该方法在合成数据集和真实数据集上均实现了比现有最先进方法更高的精度与鲁棒性。

ABSTRACT

Camera calibration is a crucial technique which significantly influences the performance of many robotic systems. Robustness and high precision have always been the pursuit of diverse calibration methods. State-of-the-art calibration techniques based on classical Zhang's method, however, still suffer from environmental noise, radial lens distortion and sub-optimal parameter estimation. Therefore, in this paper, we propose a hybrid camera calibration framework which combines learning-based approaches with traditional methods to handle these bottlenecks. In particular, this framework leverages learning-based approaches to perform efficient distortion correction and robust chessboard corner coordinate encoding. For sub-pixel accuracy of corner detection, a specially-designed coordinate decoding algorithm with embed outlier rejection mechanism is proposed. To avoid sub-optimal estimation results, we improve the traditional parameter estimation by RANSAC algorithm and achieve stable results. Compared with two widely-used camera calibration toolboxes, experiment results on both real and synthetic datasets manifest the better robustness and higher precision of the proposed framework. The massive synthetic dataset is the basis of our framework's decent performance and will be publicly available along with the code at https://github.com/Easonyesheng/CCS.

研究动机与目标

• 解决相机标定中长期存在的角点检测不精确、径向镜头畸变和参数估计不稳定等挑战。
• 通过结合基于CNN的热力图预测与高斯曲面拟合及异常值剔除，提升亚像素角点定位精度。
• 利用在大规模合成数据集上训练的CNN，推断校正参数以实现径向畸变校正，校正过程在角点检测前完成。
• 通过引入基于重投影误差的图像级RANSAC流程，提升参数估计的稳定性，降低对异常值的敏感性。
• 开发一个统一的端到端框架，整合畸变校正、精确特征检测与鲁棒标定，适用于高精度机器人和医疗应用。

提出的方法

• 使用实际的畸变模型，通过在畸变的国际象棋棋盘图像上训练CNN，直接预测径向畸变校正参数。
• 设计一种热力图表示方法，其中每个角点被建模为以真实亚像素位置为中心的高斯分布，用于监督学习。
• 使用深度CNN从输入图像回归热力图，随后应用高斯曲面拟合，将角点位置精炼至亚像素精度。
• 应用基于分布感知的异常值剔除方法，根据热力图分布的异常性过滤不可靠的检测结果。
• 执行共线性后处理，通过利用国际象棋板图案中的直线共线性特性，强制实现检测角点之间的几何一致性。
• 集成一种图像级RANSAC算法，通过评估所有检测角点的重投影误差，选择最优相机模型，从而提升参数估计的稳定性。

实验结果

研究问题

• RQ1 在存在噪声和畸变的情况下，基于深度学习的方法能否在亚像素级角点检测精度上超越像素级精度？
• RQ2 在缺乏显式几何先验的情况下，CNN在多大程度上能够有效学习并校正径向镜头畸变？
• RQ3 集成异常值剔除与几何后处理如何提升在复杂成像条件下角点检测的鲁棒性？
• RQ4 与纯代数优化相比，简化的图像级RANSAC流程能否显著提升相机参数估计的稳定性和准确性？
• RQ5 将畸变校正、精确特征检测与鲁棒估计整合于一体的统一框架，是否能超越现有最先进标定方法？

主要发现

• 所提出的框架通过结合热力图学习、高斯拟合与异常值剔除，实现了更优的亚像素角点检测精度，优于以往基于CNN的方法。
• 基于CNN的畸变校正方法能有效消除径向畸变，使在高度畸变图像中的角点检测更加准确。
• 基于分布感知的异常值剔除步骤能成功识别并剔除具有异常热力图形状的不可靠检测，显著提升检测可靠性。
• 共线性后处理步骤通过强制实现几何一致性，进一步优化了角点坐标的精度。
• 图像级RANSAC流程通过最小化所有角点的重投影误差，显著提升了相机参数估计的稳定性。
• 在合成数据集与真实数据集上，该框架均展现出比最先进方法更高的精度与更强的鲁棒性，定量结果表明重投影误差的均值与标准差均有显著改善。