[논문 리뷰] Habitat-Matterport 3D Dataset (HM3D): 1000 Large-scale 3D Environments for Embodied AI

Santhosh Kumar Ramakrishnan, Aaron Gokaslan외 11명|arXiv (Cornell University)|2021. 09. 16.

Robotics and Sensor-Based Localization인용 수 81

한 줄 요약

HM3D는 1000개의 건물 규모 재구성으로 구성된 대규모의 고충실도 3D 실내 데이터셋으로, 이전 데이터셋보다 규모, 완전성, 시각적 충실도가 더 크며, 여러 테스트 환경에서의 임베디드 AI 내비게이션을 개선할 수 있게 한다.

ABSTRACT

We present the Habitat-Matterport 3D (HM3D) dataset. HM3D is a large-scale dataset of 1,000 building-scale 3D reconstructions from a diverse set of real-world locations. Each scene in the dataset consists of a textured 3D mesh reconstruction of interiors such as multi-floor residences, stores, and other private indoor spaces. HM3D surpasses existing datasets available for academic research in terms of physical scale, completeness of the reconstruction, and visual fidelity. HM3D contains 112.5k m^2 of navigable space, which is 1.4 - 3.7x larger than other building-scale datasets such as MP3D and Gibson. When compared to existing photorealistic 3D datasets such as Replica, MP3D, Gibson, and ScanNet, images rendered from HM3D have 20 - 85% higher visual fidelity w.r.t. counterpart images captured with real cameras, and HM3D meshes have 34 - 91% fewer artifacts due to incomplete surface reconstruction. The increased scale, fidelity, and diversity of HM3D directly impacts the performance of embodied AI agents trained using it. In fact, we find that HM3D is `pareto optimal' in the following sense -- agents trained to perform PointGoal navigation on HM3D achieve the highest performance regardless of whether they are evaluated on HM3D, Gibson, or MP3D. No similar claim can be made about training on other datasets. HM3D-trained PointNav agents achieve 100% performance on Gibson-test dataset, suggesting that it might be time to retire that episode dataset.

연구 동기 및 목표

• 실세계 실내 건물의 대규모이면서 거의 완전한 3D 재구성 데이터 셋을 제공한다.
• 기존 데이터셋에 비해 시각적 충실도를 향상시키고 재구성 아티팩트를 줄인다.
• 내비게이션 과제에서 임베디드 AI 에이전트를 학습 및 평가하기 위한 HM3D의 유용성을 시연한다.
• 여러 테스트 환경에서 HM3D로 학습된 에이전트의 파레토 최적 전이 성능을 보여준다.

제안 방법

• Matterport Pro2 스캐너와 Matterport 파이프라인을 사용하여 1000개의 건물 규모 실내를 캡처하고 재구성한다.
• 정량적 지표를 통해 기존 데이터셋에 비해 규모, 완전성 및 시각적 충실도를 정량적으로 측정한다.
• HM3D로 학습된 경우와 다른 데이터셋으로 학습된 경우의 임베디드 AI 내비게이션(PointGoal/PointNav) 성능을 평가한다.
• Habitat 시뮬레이터에서의 학습을 촉진하기 위한 Habitat 준비 메타데이터 및 통합을 제공한다.

실험 결과

연구 질문

• RQ1 HM3D가 기존의 실내 데이터셋과 비교할 때 임베디드 AI 에이전트 학습에 확장 가능한 이점을 제공하는가?
• RQ2 HM3D의 규모, 완전성, 충실도가 에이전트 내비게이션 성능과 데이터셋 간 일반화에 어떤 영향을 미치는가?
• RQ3 Gibson, MP3D, HM3D 테스트 세트에 대해 성능 측면에서 HM3D 학습이 파레토 최적인가?
• RQ4 HM3D의 시각적 충실도와 재구성 완전성이 실제 이미지 및 이전 데이터셋과 어떻게 비교되는가?
• RQ5 훈련 씬에서의 탐색 가능 영역 증가가 PointNav 성능 개선과 상관관계가 있는가?

주요 결과

• HM3D는 112.5k m^2의 탐색 가능 공간과 함께 1000건의 건물 규모 재구성을 제공하며, 규모 측면에서 MP3D와 Gibson을 능가한다.
• HM3D는 기존 고사실적 데이터셋에 비해 재구성 아티팩트가 34.91% 더 적고 시각적 충실도가 20.85% 더 높다.
• HM3D로 학습된 PointNav 에이전트는 Gibson, MP3D, HM3D 테스트 세트 전반에서 최첨단 또는 파레토 최적 성능을 달성하며, 깊이 입력을 사용한 Gibson 테스트에서 100% 성공을 포함한다.
• 렌더링된 HM3D 이미지는 MP3D 및 Gibson 실제 이미지 기준선에 비해 FID/KID 점수가 현저히 낮아 실제 이미지에 대한 시각적 충실도가 더 높음을 나타낸다.
• 훈련 HM3D 씬의 총 탐색 가능 면적과 내비게이션 성능은 거의 선형에 가깝게 증가하며(상관계수 rho ≈ 0.88).
• HM3D 에이전트는 더 어려운 에피소드에 더 잘 일반화하며, 다양한 레이아웃과 외관이 전달 가능성을 높인다.