[논문 리뷰] Deep Learning for Camera Calibration and Beyond: A Survey

Kang Liao, Lang Nie외 6명|arXiv (Cornell University)|2023. 03. 19.

Optical measurement and interference techniques인용 수 26

한 줄 요약

이 논문은 표준, 왜곡, 교차 뷰 및 교차 센서 모델에 걸친 학습 기반 카메라 보정 방법을 조사하고, 데이터 세트와 벤치마크를 수집하며 오픈 소스 리포지토리를 제공합니다.

ABSTRACT

Camera calibration involves estimating camera parameters to infer geometric features from captured sequences, which is crucial for computer vision and robotics. However, conventional calibration is laborious and requires dedicated collection. Recent efforts show that learning-based solutions have the potential to be used in place of the repeatability works of manual calibrations. Among these solutions, various learning strategies, networks, geometric priors, and datasets have been investigated. In this paper, we provide a comprehensive survey of learning-based camera calibration techniques, by analyzing their strengths and limitations. Our main calibration categories include the standard pinhole camera model, distortion camera model, cross-view model, and cross-sensor model, following the research trend and extended applications. As there is no unified benchmark in this community, we collect a holistic calibration dataset that can serve as a public platform to evaluate the generalization of existing methods. It comprises both synthetic and real-world data, with images and videos captured by different cameras in diverse scenes. Toward the end of this paper, we discuss the challenges and provide further research directions. To our knowledge, this is the first survey for the learning-based camera calibration (spanned 10 years). The summarized methods, datasets, and benchmarks are available and will be regularly updated at https://github.com/KangLiao929/Awesome-Deep-Camera-Calibration.

연구 동기 및 목표

• 8년 간의 진화와 함께 학습 기반 카메라 보정 방법에 대한 포괄적 개요를 제공한다.
• 보정 목표(내부 매개변수, 외부 매개변수, 교차 뷰, 교차 센서) 및 확장 응용에 따라 방법을 분류한다.
• 다양한 카메라와 장면에 걸친 학습 기반 보정의 강점, 한계 및 실용적 도전을 평가한다.
• 기존 방법의 일반화 성능을 평가하기 위한 총체적 데이터 세트와 벤치마크를 컴파일한다.
• 이 분야의 지속적인 연구를 촉진하기 위한 오픈 소스 리소스와 가이드를 제공한다.

제안 방법

• 두 가지 주요 학습 패러다임인 회귀 기반 보정과 재구성 기반 보정을 설명하고 비교한다.
• 학습 전략(감독 학습, 비감독 학습, 반/약/자기 감독 학습, 강화 학습)을 검토하고 보정 작업에의 적용 가능성을 평가한다.
• 아키텍처, 손실, 데이터 세트 및 지표와 함께 보정 목표 및 카메라 모델(표준, 왜곡, 교차 뷰, 교차 센서)에 따라 방법을 요약한다.
• 광범위한 평가를 위한 합성 데이터와 실제 데이터를 포함하는 공개 데이터 세트를 컴파일한다.
• 검토된 연구들의 분류 체계와 벤치마크를 포함하는 오픈 소스 리포지토리를 제공하고 지속적으로 업데이트한다.

실험 결과

연구 질문

• RQ1 카메라 보정에 대한 지배적인 학습 기반 패러다임은 무엇이며 실무에서 어떻게 차이가 나는가?
• RQ2 학습 기반 방법이 내부 매개변수, 외부 매개변수, 왜곡, 교차 뷰 및 교차 센서 보정 작업에 어떻게 적용되어 왔는가?
• RQ3 일반화를 평가하기 위해 존재하거나 필요한 데이터 세트, 벤치마크 및 평가 지표는 무엇인가?
• RQ4 다양한 환경과 카메라 모델에서 학습 기반 카메라 보정의 주요 도전과제와 향후 방향은 무엇인가?

주요 결과

• 본 조사는 2015년부터 2022년까지의 학습 기반 카메라 보정에 관한 100편이 넘는 논문을 다룬다.
• 두 가지 주요 학습 패러다임은 회귀 기반 보정과 재구성 기반 보정으로 확인된다.
• 다양한 학습 전략(감독, 비감독, 반/약/자기 감독, 강화 학습)이 방법 전 범위에서 탐구된다.
• 저자들은 방법의 일반화를 평가하기 위해 합성 및 실제 세계의 총체적 보정 데이터 세트를 수집한다.
• 분류 체계와 벤치마크를 포함하는 오픈 소스 리포지토리가 제공되며 정기적으로 업데이트된다.
• 본 논문은 도전과 과제를 논의하고 학습 기반 카메라 보정의 향후 연구 방향을 제시한다.