[논문 리뷰] Panoramic Structure from Motion via Geometric Relationship Detection

Satoshi Ikehata, Ivaylo Boyadzhiev외 2명|arXiv (Cornell University)|2016. 12. 05.

Advanced Vision and Imaging참고 문헌 3인용 수 3

한 줄 요약

이 논문은 깊이 학습된 이미지에서 법선으로 변환하는 네트워크를 통해 추정한 원시 표면 법선을 이용해 3차원 공간에서 2차원 선의 공면성(공면성)을 탐지함으로써 단일 뷰 및 다중 뷰 복원을 기하관계 탐지에 의해 융합하는 새로운 구조에서 운동(SfM) 방법을 제안한다. 탐지된 공면성 제약은 제약이 있는 최소 제곱법을 사용한 선 기반 선형 SfM 설정에 통합되며, 이후 번들 조정을 거쳐 기하학적 특징이 적고 기준점 간 거리가 짧은 도전적인 내부 풍경 파ano라믹 이미지 스트림에서 최신 SfM 및 SLAM 시스템보다 뛰어난 성능을 달성한다.

ABSTRACT

This paper addresses the problem of Structure from Motion (SfM) for indoor panoramic image streams, extremely challenging even for the state-of-the-art due to the lack of textures and minimal parallax. The key idea is the fusion of single-view and multi-view reconstruction techniques via geometric relationship detection (e.g., detecting 2D lines as coplanar in 3D). Rough geometry suffices to perform such detection, and our approach utilizes rough surface normal estimates from an image-to-normal deep network to discover geometric relationships among lines. The detected relationships provide exact geometric constraints in our line-based linear SfM formulation. A constrained linear least squares is used to reconstruct a 3D model and camera motions, followed by the bundle adjustment. We have validated our algorithm on challenging datasets, outperforming various state-of-the-art reconstruction techniques.

연구 동기 및 목표

• 기하학적 특징이 적고 기준점 간 거리가 짧은 내부 풍경 파노라믹 이미지 스트림에서 3차원 복원의 과제를 해결하기 위해 표준 SfM 및 SLAM 방법이 실패하는 상황을 다루는 것.
• 탐지된 관계에서 유도된 기하학적 사전 지식을 활용해 원시 단일 뷰 복원과 정밀한 다중 뷰 SfM 사이의 격차를 메우는 것.
• 공면성 선 관계 탐지를 통해 기하학적 제약을 도입함으로써 기하학적 특징이 적고 회전이 지배적인 파노라믹 시퀀스에서 복원 정확도와 강인성을 향상시키는 것.
• 특수 하드웨어 없이도 표준 스마트폰 또는 태블릿 카메라만으로도 고품질의 내부 환경 3차원 모델링을 가능하게 하는 것.

제안 방법

• 딥 러닝 기반의 이미지에서 법선으로 변환하는 네트워크로부터 추정한 원시 표면 법선을 이용해 기하관계(예: 2차원 선의 공면성)를 탐지하는 것.
• 탐지된 공면성 관계를 선형 기하 제약으로 표현하는 선 기반 SfM 문제를 설정하는 것.
• 제약이 있는 선형 최소 제곱법을 통해 3차원 구조와 카메라 운동을 추정하는 SfM 문제를 해결하는 것.
• 초기 해를 정밀화하고 정확도를 향상시키기 위해 번들 조정을 적용하는 것.
• 기하학적 제약을 정확한 기하 제약으로 사용하여 기하학적 특징이 적고 기준점 간 거리가 짧은 상황에서 복원을 안정화하는 것.
• 단일 뷰 기하 사전 지식(예: 바닥/천장 탐지)과 다중 뷰 최적화를 융합하여 강인성을 향상시키는 것.

실험 결과

연구 질문

• RQ1 딥 러닝으로 추정한 표면 법선을 이용해 파노라믹 내부 영상 스트림에서 2차원 선 간의 공면성 관계를 신뢰성 있게 탐지할 수 있는가?
• RQ2 단일 뷰 기하 사전 지식을 다중 뷰 SfM 프레임워크에 효과적으로 통합하여 기하학적 특징이 적고 기준점 간 거리가 짧은 환경에서 복원 성능을 향상시킬 수 있는가?
• RQ3 단일 뷰와 다중 뷰 기법의 융합이 도전적인 파노라믹 데이터셋에서 최신 SfM 및 SLAM 시스템에 비해 3차원 복원 정확도를 얼마나 향상시키는가?
• RQ4 정확한 카메라 이동 추정이 파노라믹 SfM에서 깔끔하고 실수 없는 3차원 모델을 확보하는 데 얼마나 중요한가?

주요 결과

• 제안된 방법은 기하학적 특징이 적고 기준점 간 거리가 짧은 도전적인 파노라믹 내부 영상 데이터셋에서 여러 최신 SfM 및 SLAM 시스템을 뛰어넘는 성능을 보였다.
• Living Room 및 Bedroom 등의 데이터셋에서 OpenMVG(최고 성능을 보이는 글로벌 SfM 시스템)보다도 재투영 오차가 몇 배 더 작은 일관된 결과를 기록했다.
• 카메라 이동을 0으로 제약하는 것(단일 뷰 복원을 모방함)은 심각하게 손상된 3차원 모델을 초래하여 정확한 이동 추정의 필수성을 입증했다.
• 기하학적 특징이 적고 특징 트랙이 짧은 데이터셋에서 다른 SfM 시스템이 실패하거나 결과가 불완전한 상황에서도 제안된 방법은 거의 완전한 3차원 모델을 성공적으로 복원했다.
• 딥 러닝으로 추정한 표면 법선을 활용하면 기하학적 특징이 적은 영역에서도 공면성 관계를 신뢰성 있게 탐지할 수 있어 강인한 기하 제약의 기초를 제공한다.
• 탐지된 관계를 통한 기하 사전 지식의 통합은 단순히 기하학적 특징 매칭이나 단일 뷰 깊이 추정에만 의존하는 것보다 더 정확하고 안정적인 3차원 복원을 이끌어낸다.