[논문 리뷰] Structure from Motion for Panorama-Style Videos

Chris Sweeney, Aleksander Holynski외 2명|arXiv (Cornell University)|2019. 06. 08.

Advanced Vision and Imaging참고 문헌 30인용 수 5

한 줄 요약

이 논문은 사전 내재 캘리브레이션 없이 정확한 카메라 자세를 복원할 수 있는 풍경 스타일 영상 촬영을 위한 구조-에서-운동(SfM) 파이프라인을 제안한다. 카메라 운동을 약간의 구형으로 모델링함으로써, 저자들은 기본 행렬과 왜곡 추정을 위한 세 가지 효율적인 최소 해법을 도입하여, 부드러운 구형 운동 사전 정보를 갖춘 강력한 초기화 및 번들 조정을 가능하게 한다. 이는 최신 SfM 및 SLAM 시스템이 실패하는 도전적인 데이터셋에서도 성공적인 복원을 가능하게 한다.

ABSTRACT

We present a novel Structure from Motion pipeline that is capable of reconstructing accurate camera poses for panorama-style video capture without prior camera intrinsic calibration. While panorama-style capture is common and convenient, previous reconstruction methods fail to obtain accurate reconstructions due to the rotation-dominant motion and small baseline between views. Our method is built on the assumption that the camera motion approximately corresponds to motion on a sphere, and we introduce three novel relative pose methods to estimate the fundamental matrix and camera distortion for spherical motion. These solvers are efficient and robust, and provide an excellent initialization for bundle adjustment. A soft prior on the camera poses is used to discourage large deviations from the spherical motion assumption when performing bundle adjustment, which allows cameras to remain properly constrained for optimization in the absence of well-triangulated 3D points. To validate the effectiveness of the proposed method we evaluate our approach on both synthetic and real-world data, and demonstrate that camera poses are accurate enough for multiview stereo.

연구 동기 및 목표

• 회전 중심의 풍경 스타일 영상 시퀀스에서 기존 SfM 및 SLAM 시스템이 실패하는 문제를 해결하기 위해.
• 기준 거리가 짧고 파라렐랙스가 작은 환경에서도 수동으로 촬영한 캘리브레이션되지 않은 영상 시퀀스로부터 정확한 3차원 복원을 가능하게 하기 위해.
• 구형 카메라 운동에 특화된 최소 해법을 개발하여 RANSAC 기반 자세 추정의 강력성과 효율성을 향상시키기 위해.
• 3차원 점의 삼각측량이 불안정할 경우에도 자세 제약을 유지하기 위해 번들 조정 과정에 부드러운 구형 운동 사전 정보를 통합하기 위해.
• 회복된 카메라 자세를 바탕으로 고품질의 다중 시점 스테레오 복원이 가능한지 검증하기 위해.

제안 방법

• 카메라 운동을 약간의 구형으로 모델링하여 일반적인 경우의 5개 자유도에서 3개로 줄여 상대 자세 추정의 자유도를 감소시킨다.
• 구형 운동 가정 하에 기본 행렬과 카메라 왜곡을 추정하기 위한 세 가지 새로운 최소 해법을 도입하였으며, 일반 해법보다 더 적은 대응점을 요구한다.
• 이 해법들은 RANSAC 기반 기능 매칭 및 자세 추정을 위한 빠르고 강력한 초기화를 제공한다.
• 번들 조정 과정에서 카메라 자세에 대한 부드러운 사전 정보를 적용하여 구형 운동에서의 이탈을 억제함으로써, 삼각측량이 불량한 상황에서도 수렴성을 향상시킨다.
• 이러한 해법들을 전체 SfM 시스템에 통합하여 사전 캘리브레이션 없이 작동하며, 초당 10~20Hz의 실시간 복원을 지원한다.
• GoPro 및 Google Pixel 카메라에서 확보한 합성 및 실제 영상 시퀀스를 사용해 평가하였으며, COLMAP, Theia, ORB-SLAM2와의 결과 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 사전 캘리브레이션 없이도, 구형 운동에 가까운 회전 중심의 풍경 스타일 영상 시퀀스에 대해 SfM 파이프라인이 카메라 자세를 성공적으로 복원할 수 있는가?
• RQ2 구형 운동 모델링은 기준 거리가 짧고 회전이 많은 상황에서 상대 자세 추정의 강력성과 효율성을 어떻게 향상시키는가?
• RQ3 3차원 점의 삼각측량이 불안정할 경우, 부드러운 구형 운동 사전 정보가 번들 조정 수렴성에 얼마나 기여하는가?
• RQ4 회복된 카메라 자세는 먼 거리에 있는 점이나 흐린 특징이 있는 환경에서 고품질의 다중 시점 스테레오 복원을 가능하게 하는가?
• RQ5 기존의 SfM 및 SLAM 시스템은 왜 풍경 스타일 영상 시퀀스에서 실패하는가? 그리고 운동 특화 해법은 이러한 한계를 어떻게 극복할 수 있는가?

주요 결과

• 제안된 방법은 COLMAP, Theia, ORB-SLAM2가 완전히 실패한, 심한 축방향 왜곡과 먼 시점을 포함한 모든 테스트 영상 시퀀스에 대해 카메라 자세를 성공적으로 복원하였다.
• 시스템은 10~20Hz의 속도로 복원을 수행하여 풍경 스타일 영상의 실시간 또는 근접 실시간 처리를 가능하게 하였다.
• 세 가지 새로운 최소 해법은 자유도가 감소함에 따라 RANSAC에서 더 빠르게 수렴하여 효율성과 강력성을 향상시켰다.
• 부드러운 구형 운동 사전 정보 덕분에, 잘 삼각측량되지 않은 3차원 점이 있는 상황에서도 안정적인 번들 조정이 가능했으며, 전체 시퀀스에 걸쳐 자세 일관성이 유지되었다.
• 파이프라인에서 회복된 정확한 카메라 자세는 미세한 구조물(예: 얇은 물체)까지 포함한 고품질의 다중 시점 스테레오 복원을 가능하게 하였으며, 피ixe르 해상도 깊이 맵을 통해 이를 입증하였다.
• 정확한 파라렐랙스 모델링 덕분에 깊이 인식이 가능한 풍경 스타일의 복원과 VR용 3차원 시각화가 가능해졌으며, 먼 특징이 지배적인 환경에서도 성능이 유지되었다.