[論文レビュー] Deep Learning for Camera Calibration and Beyond: A Survey

Kang Liao, Lang Nie+6 more|arXiv (Cornell University)|Mar 19, 2023

Optical measurement and interference techniques被引用数 26

ひとこと要約

この論文は、標準モデル、歪み、クロスビュー、クロスセンサーのモデルにわたる学習ベースのカメラキャリブレーション手法を調査し、データセットとベンチマークをまとめ、オープンソースのリポジトリを提供します。

ABSTRACT

Camera calibration involves estimating camera parameters to infer geometric features from captured sequences, which is crucial for computer vision and robotics. However, conventional calibration is laborious and requires dedicated collection. Recent efforts show that learning-based solutions have the potential to be used in place of the repeatability works of manual calibrations. Among these solutions, various learning strategies, networks, geometric priors, and datasets have been investigated. In this paper, we provide a comprehensive survey of learning-based camera calibration techniques, by analyzing their strengths and limitations. Our main calibration categories include the standard pinhole camera model, distortion camera model, cross-view model, and cross-sensor model, following the research trend and extended applications. As there is no unified benchmark in this community, we collect a holistic calibration dataset that can serve as a public platform to evaluate the generalization of existing methods. It comprises both synthetic and real-world data, with images and videos captured by different cameras in diverse scenes. Toward the end of this paper, we discuss the challenges and provide further research directions. To our knowledge, this is the first survey for the learning-based camera calibration (spanned 10 years). The summarized methods, datasets, and benchmarks are available and will be regularly updated at https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration.

研究の動機と目的

• 学習に基づくカメラキャリブレーション手法の包括的な概要と、八年間にわたる進化を提供する。
• キャリブレーションの目的（内部パラメータ、外部パラメータ、クロスビュー、クロスセンサー）および拡張アプリケーションによって手法を分類する。
• 多様なカメラとシーンにおける学習ベースのキャリブレーションの長所、制限、および実用的な課題を評価する。
• 既存手法の一般化を評価するための総合的なデータセットとベンチマークを編成する。
• この分野の継続的な研究を促進するオープンソースのリソースとガイダンスを提供する。

提案手法

• 回帰ベースのキャリブレーションと再構成ベースのキャリブレーションという2つの主要な学習パラダイムを説明・比較する。
• 監督あり、監督なし、半教師/弱教師/自己教師あり、強化学習などの学習戦略とそれらのキャリブレーションタスクへの適用可能性をレビューする。
• アーキテクチャ、損失、データセット、指標とともに、標準、歪み、クロスビュー、クロスセンサーのカメラモデル別に手法を要約する。
• 広範な評価のために、合成データと実世界データを含む公開データセットを編成する。
• reviewed works の分類とベンチマークを含むオープンソースリポジトリを提供し、継続的な更新を行う。

実験結果

リサーチクエスチョン

• RQ1 カメラキャリブレーションの主な学習ベースパラダイムは何で、実際にはどのように異なるか？
• RQ2 内部、外部、歪み、クロスビュー、クロスセンサーのキャリブレーションタスクに対して、学習ベースの手法はどのように適用されてきたか？
• RQ3 データセット、ベンチマーク、および評価指標は存在するか、またはこれらの手法の一般化を評価するために何が必要か？
• RQ4 多様な環境とカメラモデルにおける学習ベースのカメラキャリブレーションの主要な課題と今後の方向性は？

主な発見

• 本調査は、2015年から2022年にわたる学習ベースのカメラキャリブレーションに関する100以上の論文を網羅している。
• 二つの主要な学習パラダイムとして、回帰ベースと再構成ベースのキャリブレーションを特定している。
• 幅広い学習戦略（監督あり、監督なし、半教師/弱教師/自己教師あり、強化学習など）が手法全体で検討されている。
• 著者らは、手法の一般化を評価するための総合的なキャリブレーションデータセット（合成データと実世界データ）を収集している。
• オープンソースのリポジトリが分類とベンチマークを備え、定期的に更新されている。
• 本論は、学習ベースのカメラキャリブレーションにおける課題と今後の研究方向を論じている。