[논문 리뷰] Calibration Wizard: A Guidance System for Camera Calibration Based on Modelling Geometric and Corner Uncertainty

Songyou Peng, Peter Sturm|arXiv (Cornell University)|2018. 11. 08.

Optical measurement and interference techniques참고 문헌 19인용 수 4

한 줄 요약

캘리브레이션 워즈드는 기하학적 및 코너 포인트 불확실성 모델링을 사용하여 최적의 캘리브레이션을 위한 다음 최적의 카메라 자세를 계산하는 상호작용형 가이드 시스템이다. 기존에 확보한 이미지의 내재 매개변수 추정에 대한 정보 수확량을 극대화하는 방식으로 자세를 반복적으로 선택함으로써, 단 5장의 이미지로도 20장의 자유로운 촬영 이미지와 유사한 캘리브레이션 정확도를 달성하며, 구조에서 운동을 통한 3차원 재구성 파이프라인의 품질을 크게 향상시킨다.

ABSTRACT

It is well known that the accuracy of a calibration depends strongly on the choice of camera poses from which images of a calibration object are acquired. We present a system -- Calibration Wizard -- that interactively guides a user towards taking optimal calibration images. For each new image to be taken, the system computes, from all previously acquired images, the pose that leads to the globally maximum reduction of expected uncertainty on intrinsic parameters and then guides the user towards that pose. We also show how to incorporate uncertainty in corner point position in a novel principled manner, for both, calibration and computation of the next best pose. Synthetic and real-world experiments are performed to demonstrate the effectiveness of Calibration Wizard.

연구 동기 및 목표

• 경험이 적은 사용자가 촬영 자세를 잘못 선택함으로써 발생하는 열악한 캘리브레이션 정확도 문제를 해결하기 위해.
• 기존 캘리브레이션 데이터를 바탕으로 동적으로 다음 최적의 카메라 자세를 계산하고 사용자에게 안내하는 상호작용형 시스템을 개발하기 위해.
• 코너 포인트 검출의 불확실성을 원칙적이고 철저한 방식으로 캘리브레이션 및 자세 선택 과정에 통합하기 위해.
• 기존의 자유로운 촬영 방식에 비해 적은 수의 캘리브레이션 이미지로도 캘리브레이션 정확도와 3차원 재구성 품질을 향상시키기 위해.
• 단일 카메라 및 평면 타겟 기반 캘리브레이션에 적용 가능한 일반화 가능하고 카메라 모델에 종속되지 않는 솔루션을 제공하기 위해.

제안 방법

• 시스템은 확보된 이미지에서 내재 매개변수를 추정하기 위해 범위 조정 스타일의 비선형 최적화를 수행한다.
• 각 신규 이미지마다 이전에 확보한 모든 이미지에 대해 내재 매개변수의 불확실성 감소 기대치를 극대화함으로써 다음 최적 자세를 계산한다.
• 코너 포인트의 불확실성은 캘리브레이션 및 자세 계산 시 부분 픽셀 검출 노이즈를 고려하는 확률적 프레임워크를 사용해 모델링한다.
• 자세 선택은 가능한 모든 카메라 자세 공간에 대한 전역 최적화에 기반하여 정보 이론적으로 최적임을 보장한다.
• 간단한 GUI를 사용해 사용자가 계산된 최적 자세로 이동하도록 시각적으로 안내하며, 자세가 수렴하면 이미지 촬영이 트리거된다.
• 이 방법은 모든 단일 카메라 모델에 적용 가능하며, 표준 렌즈와 광각 렌즈에 대한 검증을 수행했다.

실험 결과

연구 질문

• RQ1 기존 캘리브레이션 데이터를 바탕으로 다음 최적의 카메라 자세를 계산하는 가이드 시스템이 캘리브레이션 정확도를 크게 향상시킬 수 있는가?
• RQ2 코너 포인트의 불확실성은 어떻게 모델링하고 캘리브레이션 및 자세 선택 과정에 통합할 수 있으며, 이로 인해 정확도와 견고성이 향상되는가?
• RQ3 소수의 지도된 캘리브레이션 이미지로도 자유로운 촬영 방식에 비해 많은 수의 이미지로 확보한 정확도에 도달할 수 있는가?
• RQ4 실제 3차원 재구성 작업에서 제안된 시스템은 기존의 자유로운 촬영 방식과 기존의 전략 기반 자세 제안 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 와이드 앵글 렌즈와 같은 극단적인 시야각을 가진 카메라에 대해서도 이 시스템은 효과적으로 적용될 수 있는가?

주요 결과

• 자유 촬영 3장과 캘리브레이션 워즈드가 안내한 2장의 이미지 총 5장만으로도 SfM에서 2차원 재구성 오차가 14.4 ± 9.1 픽셀을 기록했으며, 이는 20장의 자유로운 촬영 이미지(15.7 ± 10.5 픽셀)와 유사한 수준의 정확도를 달성했다.
• 자유 이미지 3장과 워즈드가 제안한 이미지 4장의 조합은 중앙값 2차원 오차 10.6 픽셀을 기록했으며, 이는 자유로운 촬영 7장(중앙값 31.7 픽셀)보다 뛰어난 성능을 보였다.
• 자유 이미지 3장과 워즈드가 제안한 이미지 2장의 조합은 2차원 오차를 17.4 ± 10.8 픽셀로 줄였으며, 이는 단지 두 장의 지도된 이미지만으로도 자유 촬영에 비해 상당한 정확도 향상을 이룬다는 것을 보여주었다.
• 3장의 이미지에 대해 약 0.4초, 15장의 이미지에 대해 약 1.5초가 소요되어 표준 하드웨어에서 실시간 성능을 보였다.
• 모든 실세계 테스트가 2.7GHz Intel i5 CPU에서 수행되었으며, GPU 가속 없이도 높은 정확도를 달성했다.
• 결과는 코너 포인트의 불확실성 모델링이 정보가 적은 상황에서 특히 견고한 캘리브레이션과 더 나은 자세 선택을 가능하게 하며, 더 나은 성능을 이끌어낸다는 것을 확인시켰다.