[논문 리뷰] Floorplan Priors for Joint Camera Pose and Room Layout Estimation.

Cheng Lin, Changjian Li외 2명|arXiv (Cornell University)|2018. 12. 17.

Robotics and Sensor-Based Localization참고 문헌 32인용 수 7

한 줄 요약

이 논문은 바닥면도 및 맨하탄 월드 성질을 활용하여 큰 또는 특징이 없는 환경에서 카메라 자세와 실내 레이아웃을 동시에 추정하는 방법을 제안한다. 국소적인 스캔에서 레이아웃을 추정하고, 루프 클로저를 통해 전역적으로 정렬하며, 특징 기반 방법에 비해 뛰어난 정확도와 강건성을 달성한다.

ABSTRACT

We present a novel approach to reconstruct large or featureless scenes. Our method jointly estimates camera poses and a room layout from a set of partial reconstructions due to camera tracking interruptions when scanning a large or featureless scene. Unlike the existing methods relying on feature point matching to localize the camera, we exploit the 3D box structure of a typical room layout that meets the Manhattan World property. We first estimate a local layout for each partial scan separately and then combine these local layouts to form a globally aligned layout with loop closure. We validate our method quantitatively and qualitatively on real and synthetic scenes of various sizes and complexities. The evaluations and comparisons show superior effectiveness and accuracy of our method.

연구 동기 및 목표

• 3D 재구성 중 큰 또는 특징이 없는 환경에서 특징 매칭에 실패할 경우 발생하는 카메라 추적 실패 문제를 해결하기 위해.
• 구분 가능한 시각적 특징이 없는 환경에서 정위치 결정 정확도를 향상시키기 위해.
• 실내 구조의 기하학적 특징에서 유래한 구조적 사전 지식을 활용하여 카메라 자세와 실내 레이아웃을 동시에 추정하기 위해.
• 국소 스캔들을 통합하여 전역적으로 일관된 레이아웃을 만듦으로써 강건한 재구성을 가능하게 하기 위해.

제안 방법

• 이 방법은 맨하탄 월드 가정을 이용하여 각 국소 스캔에서 국소 3D 실내 레이아웃을 추정하며, 이는 수직 평면을 강제로 정렬한다.
• 실내 환경의 일반적인 기하학적 제약 조건을 활용하여 실내를 3D 상자 구조로 모델링한다.
• 루프 클로저 탐지를 통해 전역 최적화 프레임워크를 사용하여 국소 레이아웃을 정밀 조정하고 정렬한다.
• 특징 점 매칭에 의존하지 않고, 스캔 간의 구조적 일관성을 활용한다.
• 기하학적 일관성의 최소화를 위해 카메라 자세와 레이아웃 파라미터를 동시에 정밀 조정하는 공동 최적화 프레임워크를 사용한다.
• 공유되는 구조적 제약 조건을 통해 추정된 레이아웃을 정렬하여 국소 재구성을 통합한다.

실험 결과

연구 질문

• RQ1 특징 매칭이 실패하는 큰 또는 특징이 없는 환경에서 바닥면도 사전 지식이 카메라 자세 추정에 도움이 되는가?
• RQ2 국소 실내 레이아웃은 얼마나 효과적으로 전역적으로 일관된 3D 재구성으로 통합될 수 있는가?
• RQ3 맨하탄 월드 성질을 강제로 적용하면 레이아웃 및 자세 추정의 정확도가 향상되는가?
• RQ4 신뢰할 수 있는 특징이 없는 상황에서 루프 클로저는 국소 스캔의 정렬에 얼마나 효과적인가?

주요 결과

• 특징 기반 방법에 비해 큰 또는 특징이 없는 환경에서 카메라 자세 추정의 정확도가 뛰어나다.
• 바닥면도 사전 지식의 활용으로 특징 점 매칭에 실패하더라도 강건한 재구성을 가능하게 한다.
• 루프 클로저를 통한 전역 레이아웃 정렬은 국소 스캔 간의 일관성 향상에 크게 기여한다.
• 다양한 복잡도의 실제 및 합성 환경에서 뛰어난 성능을 보여준다.
• 정량적 평가 결과 기하학적 일관성 향상과 재구성 오차 감소가 확인된다.
• 다양한 환경 크기와 구조적 복잡성에서도 높은 정확도를 유지한다.