[논문 리뷰] Camera Calibration: a USU Implementation

Lili Ma, YangQuan Chen외 1명|arXiv (Cornell University)|2003. 07. 31.

Optical measurement and interference techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 유타 주립대학교에서 개발한 강력한 카메라 캘리브레이션 프레임워크를 제시한다. 이 프레임워크는 융통성 있는 캘리브레이션 설정을 사용하여 내재 매개변수, 외부 매개변수 및 반사 왜곡 매개변수를 추정한다. 평면 기반 캘리브레이션 오브제크트를 사용한 비선형 최적화 기반 최대우도 추정을 통해 3차원 재구성 및 시각 기반 서보 제어 응용 분야에서 높은 정확도를 달성하였으며, 마이크로소프트, 데스크톱 및 ODIS 카메라에서 수렴 후 840.5 단위 이하의 목적 함수 감소를 통해 검증되었다.

ABSTRACT

The task of camera calibration is to estimate the intrinsic and extrinsic parameters of a camera model. Though there are some restricted techniques to infer the 3-D information about the scene from uncalibrated cameras, effective camera calibration procedures will open up the possibility of using a wide range of existing algorithms for 3-D reconstruction and recognition. The applications of camera calibration include vision-based metrology, robust visual platooning and visual docking of mobile robots where the depth information is important.

연구 동기 및 목표

• 정확한 3차원 시각 응용을 위해 내재, 외부 및 반사 왜곡 매개변수를 추정할 수 있는 신뢰성 있고 융통성 있는 카메라 캘리브레이션 방법을 개발하기.
• 최소한의 설정 제약 조건으로 카메라를 정확하게 캘리브레이션하여 이동형 로봇에서 고정밀 3차원 재구성 및 시각 기반 서보 제어를 가능하게 하기.
• 점진적 및 제약 조건이 있는 비선형 최적화 기법을 통해 캘리브레이션의 강건성과 수렴 속도를 향상시키기.
• 실제 이미지 데이터를 사용하여 데스크톱 및 ODIS 카메라를 포함한 다양한 카메라 시스템에서 캘리브레이션 파이프라인을 검증하기.
• 재현 가능성과 로봇 및 시각 시스템에의 통합을 위해 오픈소스 MATLAB 및 C/C++ 구현 제공하기.

제안 방법

• 알려진 3차원 점을 가진 평면 기반 캘리브레이션 오브제크트를 사용하여 세계 평면과 이미지 평면 사이의 호모그래피를 추정한다.
• 초점 거리, 기울기 및 주 원점 등을 모델링하기 위해 다섯 개의 매개변수를 가진 내재 행렬 A = [[α, γ, u₀], [0, β, v₀], [0, 0, 1]] 를 사용한다.
• 관측된 점과 투영된 점 사이의 재투영 오차를 측정하는 목적 함수 J 를 최소화하기 위해 TOMLAB의 ucSolve 를 사용한 비선형 최적화를 적용한다.
• 왜곡된 (u_d, v_d) 와 왜곡되지 않은 (u, v) 이미지 점 사이의 관계를 모델링하여 반사 왜곡 계수 (k₁, k₂) 를 추정한다.
• 내재 매개변수 추정을 제약하기 위해 영점 기울기(γ = 0) 라는 가정 하에 절대 원추 행렬 B = A⁻ᵀA⁻¹ 을 사용한다.
• 선형 보정을 위한 비선형 최적화를 반복적으로 수행하며, 선형 검색(이차 및 삼차 보간)을 통해 수렴성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 융통성 있는 평면 기반 캘리브레이션 설정을 사용할 때 내재 및 외부 카메라 매개변수의 추정 정확도는 어느 정도인가?
• RQ2 반사 왜곡이 존재하는 상황에서 비선형 최적화는 재투영 오차를 얼마나 줄이는가?
• RQ3 이 캘리브레이션 방법은 ODIS 및 데스크톱 카메라를 포함한 다양한 카메라 시스템에 효과적으로 적용될 수 있는가?
• RQ4 최적화 전략의 선택(예: 점진적 대비 제약 조건이 있는)이 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ5 특징 추출 정확도는 최종 캘리브레이션 품질과 목적 함수 값에 어떤 영향을 미치는가?

주요 결과

• ODIS 카메라의 경우 목적 함수가 58회의 반복 후 840.511로 수렴하여 낮은 재투영 오차를 가진 높은 캘리브레이션 정확도를 나타낸다.
• 마이크로소프트 카메라 데이터셋의 경우 목적 함수가 58회의 반복 동안 5872.79에서 840.511로 감소하여 효과적인 비선형 최적화를 입증한다.
• 모든 테스트된 카메라에서 목적 함수 값이 841 이하로 유지되어 강건한 수렴성과 낮은 잔차 오차를 나타낸다.
• TOMLAB의 ucSolve 와 삼차 보간을 사용함으로써 반복당 계산 시간이 7.91×10⁻¹에서 5.91×10⁻¹ 초로 감소하여 효율성이 향상되었다.
• 이 방법은 반사 왜곡 계수 (k₁, k₂) 를 성공적으로 추정하고 이미지 왜곡을 보정하여 특징 점의 정확한 왜곡 해제 투영을 가능하게 하였다.
• 캘리브레이션 파이프라인이 세 가지의 서로 다른 카메라 시스템에서 검증되어 실제 시각 응용 분야에서의 일반화 가능성과 신뢰성을 확인하였다.