[논문 리뷰] Geometric Wide-Angle Camera Calibration: A Review and Comparative Study

Jianzhu Huai, Yuan Zhuang외 5명|arXiv (Cornell University)|2023. 06. 15.

Satellite Image Processing and Photogrammetry인용 수 4

한 줄 요약

이 논문은 시뮬레이션 및 실재 데이터를 사용하여 광각 렌즈와 피시아이언 렌즈에서 주요 기하학적 카메라 캘리브레이션 도구 여섯 종류—BabelCalib, Basalt, Camodocal, Kalibr, MATLAB 캘리브레이터, OpenCV 기반 ROS 캘리브레이터—를 검토하고 평가한다. 큰 각도 카메라에 대해 가장 신뢰할 수 있는 성능을 보이는 KB-8 모델을 규명하였으며, 이는 우수한 안정성과 정확성 덕분이다. 반면, Mei 모델의 매개변수 중복성과 최적화 기반 캘리브레이션에서의 도구별 고장률도 지적하였다.

ABSTRACT

Wide-angle cameras are widely used in photogrammetry and autonomous systems which rely on the accurate metric measurements derived from images. To find the geometric relationship between incoming rays and image pixels, geometric camera calibration (GCC) has been actively developed. Aiming to provide practical calibration guidelines, this work surveys the existing GCC tools and evaluates the representative ones for wide-angle cameras. The survey covers camera models, calibration targets, and algorithms used in these tools, highlighting their properties and the trends in GCC development. The evaluation compares six target-based GCC tools, namely, BabelCalib, Basalt, Camodocal, Kalibr, the MATLAB calibrator, and the OpenCV-based ROS calibrator, with simulated and real data for wide-angle cameras described by four parametric projection models. These tests reveal the strengths and weaknesses of these camera models, as well as the repeatability of these GCC tools. In view of the survey and evaluation, future research directions of wide-angle GCC are also discussed.

연구 동기 및 목표

• 다양한 도구와 카메라 모델의 증가로 인해 실무자들이 적절한 카메라 캘리브레이션 도구를 선택하는 데 어려움을 겪는 문제를 해결하기 위해.
• 광각 및 피시아이언 렌즈를 갖춘 카메라에서 여섯 가지 널리 사용되는 캘리브레이션 도구의 일관성, 반복 가능성, 정확도를 평가하기 위해.
• 기존의 세 전통적 카메라 모델—핀홀 렌즈 원형 휘어짐, KB-8, Mei—이 시뮬레이션 및 실제 환경 조건 하에서 어떻게 성능을 보이는지 평가하기 위해.
• 현재 캘리브레이션 도구의 주요 한계, 특히 이방성 처리, 매개변수 초기화, 최적화의 강건성 측면을 규명하기 위해.
• 향후 연구를 이끄는 방향을 제안하기 위해, 상호작용 캘리브레이션, 활성 타겟을 사용한 정적 캘리브레이션, 캘리브레이션 인식 기반 복원 파이프라인 등을 제안하기 위해.

제안 방법

• 연구는 네 대의 광각 및 피시아이언 렌즈에서 수집한 시뮬레이션 및 실재 데이터를 사용하여 여섯 가지 캘리브레이션 도구—BabelCalib, Basalt, Camodocal, Kalibr, MATLAB 캘리브레이터, OpenCV 기반 ROS 캘리브레이터—를 평가한다.
• 시뮬레이션 데이터는 세 가지 표준 카메라 모델—핀홀 렌즈 원형 휘어짐, KB-8, Mei—을 사용하여 생성되었으며, 정확도 및 안정성 평가를 위해 알려진 진실값 매개변수를 갖는다.
• 실재 데이터는 네 대의 렌즈(BM4218, BM4018, BT2120, MTV185)를 사용하여 각각 아홉 개의 시퀀스에서 획득되었으며, 평면 캘리브레이션 타겟과 통제된 촬영 조건을 사용하였다.
• 도구 성능 평가의 주요 지표로는 재투영 오차(RMS)와 시퀀스 간 매개변수 일관성(평균, 표준편차)을 사용하였다.
• 이방성 탐지 및 처리는 특히 흐린 또는 대trast가 낮은 이미지에서의 코너 검출 오차를 분석하여 분석하였다.
• 평가 초점은 매개변수 안정성, 수렴률, 실패 사례에 있었으며, 특히 매개변수 중복성으로 인해 불안정성이 발생하는 Mei 모델의 경우에 주로 집중되었다.

Figure 1: The geometric camera calibration and the evaluated tools.

실험 결과

연구 질문

• RQ1 광각 및 피시아이언 렌즈에 대해 가장 안정적이고 정확한 캘리브레이션 결과를 도출하는 기하학적 카메라 모델—핀홀 렌즈 원형 휘어짐, KB-8, Mei—은 무엇인가?
• RQ2 실재 및 시뮬레이션 데이터에서 여섯 가지 주요 캘리브레이션 도구(BabelCalib, Basalt, Camodocal, Kalibr, MATLAB, ROS/OpenCV)의 재투영 오차와 매개변수 일관성은 어떻게 비교되는가?
• RQ3 최적화 기반 캘리브레이션 도구에서 실패가 발생하는 원인은 무엇이며, 이방성 탐지 및 초기화가 캘리브레이션의 강건성에 어떻게 영향을 미치는가?
• RQ4 Mei 모델과 같은 모델에서의 매개변수 중복성과 비유일성은 캘리브레이션 신뢰성과 반복 가능성에 어떤 영향을 미치는가?
• RQ5 현재 캘리브레이션 파이프라인의 주요 한계는 무엇이며, 향후 연구 방향은 무엇이 캘리브레이션의 강건성과 사용성 향상에 기여할 수 있는가?

주요 결과

• KB-8 모델은 대각선 시야각(DAOV)이 100°를 초과하는 카메라에서 뛰어난 안정성과 정확도를 보였으며, 이는 광각 및 피시아이언 렌즈에 가장 적합한 선택으로 간주된다.
• Mei 모델은 낮은 RMS 재투영 오차를 보였지만 높은 매개변수 분산을 보여, 특히 실재 데이터에서 매개변수 중복성으로 인한 불안정성을 나타낸다.
• Camodocal, Kalibr, MATLAB 캘리브레이터는 핀홀 렌즈 원형 휘어짐 모델에서 뛰어난 성능을 보였으며, BabelCalib와 Camodocal는 KB-8 모델에서도 양호한 성능을 보였다.
• Basalt는 특정 렌즈(BM4218, MTV185)에 대해 9개 시퀀스 중 7~8개에서 실패했으며, 초기화 또는 수렴 문제로 인해 최적화에서의 강건성이 떨어지는 것으로 보인다.
• 이방성 탐지는 매우 중요했으며, 진짜 위치에서 몇 픽셀 정도 떨어진 코너는 캘리브레이션에 큰 영향을 미쳤지만, 대부분의 도구가 이를 효과적으로 처리하였다.
• EUCM 모델은 일관된 매개변수 추정(예: α, β)을 제공한 반면, Mei 모델의 k1 매개변수는 높은 변동성을 보여, 이 모델의 불안정성을 강조하였다.

Figure 2: The structure of this survey.