[论文解读] Deep Learning for Camera Calibration and Beyond: A Survey

Kang Liao, Lang Nie+6 more|arXiv (Cornell University)|Mar 19, 2023

Optical measurement and interference techniques被引用 26

一句话总结

本论文综述了基于学习的相机标定方法，涵盖标准模型、畸变、跨视图和跨传感器模型，汇总数据集和基准测试，并提供开源仓库。

ABSTRACT

Camera calibration involves estimating camera parameters to infer geometric features from captured sequences, which is crucial for computer vision and robotics. However, conventional calibration is laborious and requires dedicated collection. Recent efforts show that learning-based solutions have the potential to be used in place of the repeatability works of manual calibrations. Among these solutions, various learning strategies, networks, geometric priors, and datasets have been investigated. In this paper, we provide a comprehensive survey of learning-based camera calibration techniques, by analyzing their strengths and limitations. Our main calibration categories include the standard pinhole camera model, distortion camera model, cross-view model, and cross-sensor model, following the research trend and extended applications. As there is no unified benchmark in this community, we collect a holistic calibration dataset that can serve as a public platform to evaluate the generalization of existing methods. It comprises both synthetic and real-world data, with images and videos captured by different cameras in diverse scenes. Toward the end of this paper, we discuss the challenges and provide further research directions. To our knowledge, this is the first survey for the learning-based camera calibration (spanned 10 years). The summarized methods, datasets, and benchmarks are available and will be regularly updated at https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration.

研究动机与目标

• 提供对基于学习的相机标定方法及其八年演变的全面概述。
• 按标定目标（内参、外参、跨视图、跨传感器）和扩展应用对方法进行分类。
• 评估学习型标定在不同相机和场景中的优点、局限和实际挑战。
• 编汇一个全面的数据集和基准，用于评估现有方法的泛化能力。
• 提供开源资源与指南，促进该领域的持续研究。

提出的方法

• 描述并比较两种主要学习范式：基于回归的标定和基于重建的标定。
• 回顾学习策略（监督、无监督、半/弱/自监督、强化学习）及其在标定任务中的适用性。
• 按标定目标和相机模型（标准、畸变、跨视图、跨传感器）总结方法，涉及架构、损失、数据集和指标。
• 编汇一个包含合成数据和真实世界数据的公共数据集集合，以供广泛评估。
• 提供一个开源仓库，含已评审工作的分类法和基准，以便持续更新。

实验结果

研究问题

• RQ1 在相机标定中占主导地位的学习范式有哪些？它们在实践中有何区别？
• RQ2 学习型方法如何应用于内参、外参、畸变、跨视图和跨传感器的标定任务？
• RQ3 存在哪些数据集、基准和评估指标来评估这些方法的泛化能力，或需要哪些？
• RQ4 在多样化环境和相机模型下，基于学习的相机标定面临的关键挑战和未来方向是什么？

主要发现

• 该综述涵盖了自2015年至2022年的超过100篇关于基于学习的相机标定的论文。
• 确定了两种主要的学习范式：基于回归的和基于重建的标定。
• 在方法中探索了广泛的学习策略（监督、无监督、半/弱/自监督、强化学习）。
• 作者收集了一个用于评估方法泛化的全面标定数据集（合成和真实世界）。
• 提供了一个具有分类法和基准的开源仓库，并定期更新。
• 论文讨论了挑战并提出了未来在基于学习的相机标定中的研究方向。