[논문 리뷰] 3D Reconstruction from Full-view Fisheye Camera

Chuiwen Ma, Liang Shi외 2명|arXiv (Cornell University)|2015. 06. 20.

Advanced Vision and Imaging참고 문헌 3인용 수 20

한 줄 요약

이 논문은 구면 카메라 모델과 에피포라 기하학을 사용하여 전방 시야 펜트라이크 카메라를 위한 3D 재구성 방법을 제안한다. 이는 여러 대의 Ricoh Theta 이미지를 기반으로 희소 및 조밀한 재구성을 가능하게 한다. 본 방법은 수동으로 선택한 점 대응, SIFT 매칭과 RANSAC 필터링을 조합하고, 상호작용 가능한 시각화를 위한 GUI를 제공하여 실제 세계의 구조를 유지하는 정확한 3D 장면 재구성을 달성한다.

ABSTRACT

In this report, we proposed a 3D reconstruction method for the full-view fisheye camera. The camera we used is Ricoh Theta, which captures spherical images and has a wide field of view (FOV). The conventional stereo apporach based on perspective camera model cannot be directly applied and instead we used a spherical camera model to depict the relation between 3D point and its corresponding observation in the image. We implemented a system that can reconstruct the 3D scene using captures from two or more cameras. A GUI is also created to allow users to control the view perspective and obtain a better intuition of how the scene is rebuilt. Experiments showed that our reconstruction results well preserved the structure of the scene in the real world.

연구 동기 및 목표

• 표준 투시 카메라 모델이 극심한 반경 방향 왜곡으로 인해 처리할 수 없는 전방 시야 펜트라이크 카메라에서 정확한 3D 재구성을 가능하게 하기 위해.
• 3D 점을 단위 구면에 투영하고, 이를 원형 이미지 평면에 수직 투영하는 구면 카메라 모델을 개발하기 위해.
• 삼각측량과 카메라 자세 복원을 지원하기 위해 펜트라이크 카메라를 위한 수정된 에피포라 기하학과 기본 행렬 추정 방법을 수립하기 위해.
• 점 대응과 시차 매핑을 이용한 희소 및 조밀한 3D 재구성 파이프라인을 구현하기 위해.
• 여러 대의 펜트라이크 이미지에서 360도 재구성된 장면을 상호작용적으로 탐색할 수 있는 GUI를 개발하기 위해.

제안 방법

• 3D 점을 단위 구면에 투영하고, 고정된 초점 거리와 반경 투영 모델을 사용하여 이미지 평면에 수직 투영하는 구면 카메라 모델을 제안하였다.
• 구면 모델 기반으로 펜트라이크 카메라의 에피포라 기하학을 유도하여 점 대응에서 기본 행렬을 계산할 수 있도록 하였다.
• 수동으로 레이블링된 기준점 쌍을 사용하여 기본 행렬을 추정하고, 이를 SIFT 특징 매칭을 필터링하여 이상치를 감소시키는 데 사용하였다.
• RANSAC을 적용하여 기본 행렬을 정밀화하고, 높은 신뢰도를 가진 SIFT 매칭을 추가하여 더 조밀한 재구성을 위한 대응 풀을 증강하였다.
• 등경도-정육면체 매핑을 통해 이미지 정규화를 수행하여 동일한 경도에 있는 대응점을 정렬함으로써 전통적인 스테레오 시차 계산이 가능하도록 하였다.
• 정규화된 이미지에서 상관 기반 방법을 사용하여 시차 매핑을 생성하고, 이를 조밀한 3D 재구성을 위해 사용하였지만 잔류 왜곡으로 인해 시차 매핑에 노이즈가 발생하였다.

실험 결과

연구 질문

• RQ1 180도 시야각을 가진 전방 시야 펜트라이크 이미지에서 3D 점의 투영을 정확하게 표현하기 위해 구면 카메라 모델이 어떻게 설계되어야 하는가?
• RQ2 펜트라이크 스테레오 시스템에서 안정적인 기본 행렬 추정과 삼각측량을 가능하게 하기 위해 에피포라 기하학에 어떤 수정이 필요한가?
• RQ3 SIFT 특징 매칭은 펜트라이크 이미지에서 3D 재구성에 효과적으로 사용될 수 있는가? 그리고 기준 기본 행렬을 필터로 사용함으로써 성능을 어떻게 향상시킬 수 있는가?
• RQ4 잔류 왜곡이 존재하는 상황에서 정규화와 시차 매핑을 통해 얼마나 높은 수준의 조밀한 3D 재구성을 달성할 수 있는가?
• RQ5 여러 대의 펜트라이크 이미지에서 360도 재구성된 장면을 상호작용적으로 탐색할 수 있는 사용자 우아한 GUI는 어떻게 설계할 수 있는가?

주요 결과

• 수동으로 선택한 대응점과 기준 기본 행렬을 사용한 희소 3D 재구성은 실제 세계의 장면 구조와 매우 유사한 정확한 결과를 도출하였다.
• 기준 기본 행렬로 필터링된 SIFT 매칭의 통합은 기하학적 일관성을 유지하면서도 재구성의 조밀함을 크게 향상시켰다.
• 이미지 정규화 이후 시차 매핑을 통한 조밀한 재구성이 성공적으로 달성되었지만, 잔류 왜곡으로 인해 시차 매핑에 노이즈가 발생하였다.
• GUI는 여러 360도 이미지에 걸쳐 시각적 시점 제어를 가능하게 하여 재구성된 3D 장면에 대한 사용자 직관을 향상시켰다.
• 이 방법은 벽과 천장과 같은 구조적 특징이 있는 실내 환경에서 뛰어난 성능을 보였지만, 반복적인 무늬나 큰 기준 거리 차이가 있는 실외 환경에서는 SIFT 매칭 성능이 저하되었다.
• 최대 6대의 카메라에 대해 카메라 자세 추정(회전 및 위치)이 성공적으로 계산되어 일관된 정렬을 가진 다중 시점 재구성 가능성이 입증되었다.