[논문 리뷰] Multiple View Reconstruction of Calibrated Images using Singular Value Decomposition

Ayan Chaudhury, Abhishek Kumar Gupta외 3명|arXiv (Cornell University)|2010. 11. 02.

Optical measurement and interference techniques참고 문헌 6인용 수 3

한 줄 요약

이 논문은 단일 校정된 다중 카메라 시스템에서 다중 시점 재구성을 위한 새로운 접근법을 제시한다. 특이값 분해(SVD)를 사용하여 서로 다른 카메라 위치와 방향 간의 이미지 좌표를 통합한다. 각 카메라를 국소 좌표계에서 校정하고, 모든 데이터를 공통의 글로벌 좌표계로 변환함으로써, 고정된 3D 세계점이 카메라 시점에 관계없이 동일한 이미지 좌표로 투영되도록 보장한다. 이는 한 번의 校정 점에 대해 모든 카메라에서 (158, 88) 픽셀 좌표로 일관된 재구성을 달성함으로써 실현된다.

ABSTRACT

Calibration in a multi camera network has widely been studied for over several years starting from the earlier days of photogrammetry. Many authors have presented several calibration algorithms with their relative advantages and disadvantages. In a stereovision system, multiple view reconstruction is a challenging task. However, the total computational procedure in detail has not been presented before. Here in this work, we are dealing with the problem that, when a world coordinate point is fixed in space, image coordinates of that 3D point vary for different camera positions and orientations. In computer vision aspect, this situation is undesirable. That is, the system has to be designed in such a way that image coordinate of the world coordinate point will be fixed irrespective of the position & orientation of the cameras. We have done it in an elegant fashion. Firstly, camera parameters are calculated in its local coordinate system. Then, we use global coordinate data to transfer all local coordinate data of stereo cameras into same global coordinate system, so that we can register everything into this global coordinate system. After all the transformations, when the image coordinate of the world coordinate point is calculated, it gives same coordinate value for all camera positions & orientations. That is, the whole system is calibrated.

연구 동기 및 목표

• 다중 카메라 시스템에서 고정된 3D 세계점이 다양한 카메라 시점에서 일관되지 않은 이미지 좌표를 가지는 문제를 해결하기 위해.
• 정확한 다중 시점 재구성을 위해 다수의 카메라 시점을 단일 글로벌 좌표계로 통합하기 위해.
• SVD 기반의 변환 방식이 카메라 위치 또는 방향에 관계없이 일관된 이미지 좌표를 제공할 수 있음을 입증하기 위해.
• 다양한 카메라 위치에서 한 개의 校정 점을 사용하여 방법을 검증하고, 동일한 이미지 좌표를 달성하기 위해.

제안 방법

• 교정 패턴의 19개 점에서의 3D-2D 점 대응 관계를 이용해 각 카메라를 국소 좌표계에서 校정한다.
• 표준 校정 모델을 사용해 회전 및 이동 파라미터를 추출하며, 단순화를 위해 렌즈 왜곡은 고려하지 않는다.
• 국소 좌표계에서 글로벌 좌표계로의 좌표 변환을 위한 연립방정식을 SVD로 해결한다.
• 모폴로지적 영상 처리를 적용해 각 이미지의 특징점을 검출함으로써 정확한 픽셀 좌표 추출을 가능하게 한다.
• 모든 국소 카메라 데이터를 공통의 글로벌 좌표계로 변환하여 이미지 투영을 통합한다.
• 모든 카메라에서 동일한 세계점의 이미지 좌표를 계산하고 동일한 결과임을 확인함으로써 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 다중 카메라 시스템은 다양한 카메라 위치와 방향에서 고정된 3D 세계점에 대해 일관된 이미지 좌표를 달성할 수 있는가?
• RQ2 SVD는 다수의 카메라 시점을 단일 글로벌 좌표계로 통합하는 데 효과적으로 활용될 수 있는가?
• RQ3 좌표계 변환은 스테레오 재구성에서 이미지 좌표 일관성에 어떤 영향을 미치는가?
• RQ4 무시할 정도로 작은 렌즈 왜곡을 가진 단순화된 校정 모델이라도 이미지 투영의 높은 일관성을 달성할 수 있는가?

주요 결과

• 글로벌 좌표계로 변환한 후, 고정된 3D 세계점의 이미지 좌표는 모든 카메라 시점에서 일관되게 (158, 88)로 나타났다.
• SVD의 사용은 변환 시스템의 정확하고 안정적인 해를 도출하여, 다수의 카메라 시점 간 정렬을 보장했다.
• 모폴로지적 영상 처리를 통해 교정 점이 성공적으로 추출되고 국소화되어 정밀한 픽셀 좌표 계산이 가능해졌다.
• 복잡한 비선형 최적화나 고급 왜곡 모델을 요구하지 않아도 일관된 재구성을 달성했다.
• 1000×1100 이미지에 대해 센서 어레이의 중심점으로서 이미지 중심이 (500, 550)로 추정되어, 정확도를 저하시키지 않으면서도 校정을 단순화시켰다.