[논문 리뷰] Stereo camera system calibration: the need of two sets of parameters

Riccardo Beschi, Xiao Feng외 3명|arXiv (Cornell University)|2021. 01. 14.

Advanced Vision and Imaging참고 문헌 18인용 수 4

한 줄 요약

이 논문은 스테레오 카메라 시스템을 두 번 캘리브레이션하는 방법을 제안한다—한 번은 2차원 재투영 오차를 최소화하기 위해, 다른 한 번은 3차원 재구성 오차를 최소화하기 위해. 이미지 노이즈가 존재하는 현실 환경에서, 하나의 파rameter 세트로는 두 작업을 동시에 최적화할 수 없음을 입증한다. 핵심 발견은, 대응 매칭과 3차원 재구성 각각에 대해 별도의 파rameter 세트를 사용할 경우 성능이 향상된다는 것이다. 이는 스테레오 비전 캘리브레이션에서 기초적인 트레이드오프를 해결한다.

ABSTRACT

The reconstruction of a scene via a stereo-camera system is a two-steps process, where at first images from different cameras are matched to identify the set of point-to-point correspondences that then will actually be reconstructed in the three dimensional real world. The performance of the system strongly relies of the calibration procedure, which has to be carefully designed to guarantee optimal results. We implemented three different calibration methods and we compared their performance over 19 datasets. We present the experimental evidence that, due to the image noise, a single set of parameters is not sufficient to achieve high accuracy in the identification of the correspondences and in the 3D reconstruction at the same time. We propose to calibrate the system twice to estimate two different sets of parameters: the one obtained by minimizing the reprojection error that will be used when dealing with quantities defined in the 2D space of the cameras, and the one obtained by minimizing the reconstruction error that will be used when dealing with quantities defined in the real 3D world.

연구 동기 및 목표

• 스테레오 비전 시스템에서 2차원 대응 매칭과 3차원 재구성 양쪽을 동시에 최적화할 수 있는 단일 캘리브레이션 세트가 존재하는지 조사하기.
• 실제 이미지 노이즈 조건에서 하나의 파rameter 세트를 사용해 두 작업을 동시에 수행하는 기존 캘리브레이션 방법의 한계를 규명하기.
• 스테레오 캘리브레이션에서 재투영 오차(2차원)를 최소화하는 것과 재구성 오차(3차원)를 최소화하는 것 사이의 성능 트레이드오프를 평가하기.
• 개선된 전체 시스템 정확도를 위해 최적화 목표를 분리한 이중 캘리브레이션 방법을 제안하고 검증하기.

제안 방법

• 세 가지 캘리브레이션 방법을 구현: 본질 행렬 추정, 2차원 최소화(재투영 오차 최소화), 3차원 최소화(재구성 오차 최소화).
• 몬테카를로 최적화 전략을 통해 본질 행렬 방법을 2차원 및 3차원 최소화의 초기화로 사용.
• 시스템을 두 번 캘리브레이션: 첫 번째로 2차원 재투영 오차를 최소화해 대응 매칭을 위한 파라미터를 확보하고, 두 번째로 3차원 재구성 오차를 최소화해 3차원 출력을 위한 파라미터를 확보.
• 모든 세 가지 방법을 19개의 데이터셋에서 평가하여 대응 매칭 정확도와 3차원 재구성 정확도를 비교.
• 2차원 최소화 파라미터를 2차원 작업(예: 대응 매칭)에 적용하고, 3차원 최소화 파라미터를 3차원 재구성 작업에 적용.
• 핀홀 카메라 모델과 사영 기하학을 사용해 3차원 세계 점과 그 2차원 영상 투영 간의 관계를 정의.

실험 결과

연구 질문

• RQ1 실제 이미지 노이즈 조건 하에서 단일 캘리브레이션 파arameter 세트로 2차원 대응 매칭과 3차원 재구성 양쪽 모두에서 높은 정확도를 달성할 수 있는가?
• RQ2 스테레오 카메라 캘리브레이션에서 2차원 재투영 오차 최소화와 3차원 재구성 오차 최소화 사이의 성능 트레이드오프는 어떠한가?
• RQ3 2차원 정확도와 3차원 정확도 각각을 목표로 하는 두 개의 별도 최적화로 캘리브레이션 과정을 분리하면 전체 시스템 성능이 향상되는가?
• RQ4 다양한 데이터셋에서 재투영 오차와 재구성 오차 측면에서 다양한 캘리브레이션 전략 간의 성능을 어떻게 비교할 수 있는가?

주요 결과

• 2차원 최소화 방법은 낮은 재투영 오차를 측정함으로써 정확한 점 대응 매칭을 위한 최고의 성능을 달성했다.
• 3차원 최소화 방법은 모든 19개의 데이터셋에서 일관되게 0.01 이하의 재구성 오차를 기록하며 가장 정확한 3차원 재구성을 생성했다.
• 단일 파arameter 세트를 사용할 경우, 갈리브레이션의 노이즈 가정이 상호 모순되므로 대응 매칭과 3차원 재구성 양쪽 모두에서 성능이 열악해졌다.
• 2차원 최소화 방법은 모든 노이즈가 3차원 공간에 존재한다고 가정하는 반면, 3차원 최소화 방법은 모든 노이즈가 2차원 영상 공간에 존재한다고 가정하여 본질적인 트레이드오프가 발생한다.
• 2차원 및 3차원 작업 각각에 대해 별도의 파arameter를 사용하는 이중 캘리브레이션 방법은 단일 파arameter 방법보다 뛰어난 성능을 달성한다.
• 이 연구는 재투영 오차 최소화와 재구성 오차 최소화가 상호 모순되는 목표임을 확인하였으며, 이는 두 가지 별도의 캘리브레이션 절차가 필요하다는 것을 시사한다.