[논문 리뷰] LayoutMP3D: Layout Annotation of Matterport3D

Fu-En Wang, Yu-Hsuan Yeh외 3명|arXiv (Cornell University)|2020. 03. 30.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 8

한 줄 요약

이 논문은 이미 시간간격 센서로부터 고정밀 깊이 맵을 포함하고 있는 Matterport3D의 일부에 대해 3D 레이아웃 참조값을 제공하는 새로운 데이터셋인 LayoutMP3D를 소개한다. 레이아웃과 깊이 참조값을 결합함으로써, 360도 환경 이해를 위한 통합 학습이 가능해져 기하학적 및 공간적 추론을 통합함으로써 실내 환경에서의 탐색 및 인식 성능 향상을 지원한다.

ABSTRACT

Inferring the information of 3D layout from a single equirectangular panorama is crucial for numerous applications of virtual reality or robotics (e.g., scene understanding and navigation). To achieve this, several datasets are collected for the task of 360 layout estimation. To facilitate the learning algorithms for autonomous systems in indoor scenarios, we consider the Matterport3D dataset with their originally provided depth map ground truths and further release our annotations for layout ground truths from a subset of Matterport3D. As Matterport3D contains accurate depth ground truths from time-of-flight (ToF) sensors, our dataset provides both the layout and depth information, which enables the opportunity to explore the environment by integrating both cues.

연구 동기 및 목표

• 360도 실내 환경 이해를 위한 깊이 및 레이아웃 참조값을 동시에 제공하는 데이터셋의 부족을 해결하기 위해.
• Matterport3D의 정확한 깊이 맵과 수작업으로 정렬된 레이아웃 구조라는 두 가지 상호보완적인 자료를 결합함으로써 깊이 및 레이아웃 추정의 통합 학습을 가능하게 하기 위해.
• 고품질의 다양한 데이터셋을 제공함으로써 로봇공학 및 가상현실 분야에서 더 견고한 인식 시스템 개발을 지원하기 위해.
• 일致되고 고정밀도의 정렬을 가진 공개 데이터셋을 제공함으로써 통합 360도 환경 이해에 대한 연구를 촉진하기 위해.
• 깊이 및 레이아웃 간의 다중모달 융합에 대한 탐색을 장려하고, 이를 통해 3차원 환경 재구성 및 탐색 성능 향상을 도모하기 위해.

제안 방법

• 시간간격(ToF) 센서로부터 고정밀 깊이 참조값을 이미 포함하고 있는 Matterport3D 파노라마의 일부를 선별하였다.
• DuLa-Net 정렬 툴을 사용하여 수작업으로 3D 레이아웃 구조를 정렬하였으며, 맨하탄 스타일의 실내 환경(예: 직육면체, L자형)에 집중하고 비맨하탄 케이스는 제외하였다.
• 등방위 파노라마에서 바닥, 벽, 천장 평면을 나타내는 역점 및 경계선을 레이어링하여 레이아웃 정렬을 생성하였다.
• 동일한 파노라마 이미지와 공간 좌표를 사용함으로써 레이아웃과 깊이 정렬 간의 정합성을 확보하였다.
• GitHub를 통해 https://github.com/fuenwang/LayoutMP3D 에 공개적으로 데이터셋을 배포하여 커뮤니티의 활용을 가능하게 하였다.
• 레이아웃 복잡도(4~10개 이상의 정점)가 다양하게 포함된 학습용(1,830개) 및 테스트용(455개) 데이터셋을 제공하였다.

실험 결과

연구 질문

• RQ1 360도 실내 환경에 대해 깊이 및 레이아웃 정렬을 동시에 제공하는 대규모 공개 데이터셋을 구축할 수 있는가?
• RQ2 깊이 및 레이아웃 참조값이 동시에 제공될 경우, 360도 환경 이해 모델의 성능 향상에 어떤 영향을 미치는가?
• RQ3 실제로 Matterport3D가 촬영한 실내 환경에서 레이아웃 복잡도(예: 정점 수)의 분포는 어떠한가?
• RQ4 깊이 및 레이아웃의 통합 학습이 로봇공학 및 가상현실 분야에서 탐색 및 환경 이해 성능 향상에 얼마나 기여하는가?
• RQ5 대규모로 등방위 파노라마에 대해 3D 레이아웃을 정렬하는 데 실질적인 과제는 무엇인가?

주요 결과

• LayoutMP3D 데이터셋은 깊이 및 레이아웃 참조값을 모두 포함한 총 2,285개의 정렬된 파노라마로 구성되어 있으며, 학습용 1,830개, 테스트용 455개로 나뉘어져 있다.
• 레이아웃 유형이 다양하게 포함되어 있으며, 정점 수 기준으로는 4개 정점이 1,243개, 6개 정점이 515개, 8개 정점이 308개, 10개 이상 정점이 219개이다.
• 데이터셋은 https://github.com/fuenwang/LayoutMP3D 에 공개되어 있어 360도 깊이 및 레이아웃 추정에 대한 개방형 연구를 가능하게 한다.
• Matterport3D의 ToF 기반 깊이 맵과 수작업 정렬된 레이아웃을 결합함으로써 LayoutMP3D는 다중모달 360도 환경 이해를 위한 고유한 자원을 제공한다.
• 이전에는 정렬된 데이터 부족으로 인해 미처 탐색되지 못했던 깊이 및 레이아웃 신호를 통합적으로 활용하는 새로운 연구 방향을 가능하게 한다.
• 두 신호의 통합은 특히 실내 환경에서의 탐색 및 3차원 재구성에 더 견고하고 의미론적으로 풍부한 환경 이해를 지원한다.