[논문 리뷰] The Replica Dataset: A Digital Replica of Indoor Spaces

Julian Straub, Thomas J. Whelan외 28명|arXiv (Cornell University)|2019. 06. 13.

Robotics and Sensor-Based Localization참고 문헌 27인용 수 382

한 줄 요약

Replica는 ML 및 구현형 AI 연구를 위해 HDR 텍스처, 의미/인스턴스 주석, 반사체를 갖춘 18개의 매우 리얼한 실내 3D 씬 재구성들을 제공합니다. Habitat-호환이며 최소한의 SDK를 제공합니다.

ABSTRACT

We introduce Replica, a dataset of 18 highly photo-realistic 3D indoor scene reconstructions at room and building scale. Each scene consists of a dense mesh, high-resolution high-dynamic-range (HDR) textures, per-primitive semantic class and instance information, and planar mirror and glass reflectors. The goal of Replica is to enable machine learning (ML) research that relies on visually, geometrically, and semantically realistic generative models of the world - for instance, egocentric computer vision, semantic segmentation in 2D and 3D, geometric inference, and the development of embodied agents (virtual robots) performing navigation, instruction following, and question answering. Due to the high level of realism of the renderings from Replica, there is hope that ML systems trained on Replica may transfer directly to real world image and video data. Together with the data, we are releasing a minimal C++ SDK as a starting point for working with the Replica dataset. In addition, Replica is `Habitat-compatible', i.e. can be natively used with AI Habitat for training and testing embodied agents.

연구 동기 및 목표

• 고해상도, 사진 같은 3D 실내 데이터셋을 정교한 기하학, 텍스처 및 의미를 포함하도록 작성합니다.
• 프리미티브별 의미 및 인스턴스 주석과 반사 표면(유리/거울)을 포함합니다.
• 현실적인 렌더링과 실제 세계로의 이전 가능성으로 구현형 AI, 네비게이션 및 지각에 대한 ML 연구를 가능하게 합니다.
• ML 워크플로우와 통합을 용이하게 하기 위한 도구(SDK) 및 Habitat 호환성을 제공합니다.

제안 방법

• 맞춤형 RGB-D 장비와 IR 프로젝터를 사용하여 SLAM 기반 6-DoF 포즈를 갖춘 실내 3D 씬을 캡처합니다.
• 깊이를 TSDF로 융합하고 Marching Cubes로 메시를 추출하며 HDR PTex와 유사한 텍스처로 텍스처링합니다.
• 메시 품질과 렌더링 리얼리즘을 개선하기 위해 구멍과 평면 반사체를 수동으로 보정합니다.
• 렌더링 뷰에서 2D 이미지 기반 라벨링과 3D 분절 트리로의 융합의 두 단계 의미 주석을 수행합니다.
• 익명화 가능한 영역을 주석하고 계층적 분절 구조를 제공하여 클래스 및 인스턴스 라벨링을 가능하게 합니다.
• 최소한의 C++ SDK를 게시하고 Habitat-호환 형식으로 데이터를 노출하여 ML 통합을 용이하게 합니다.

실험 결과

연구 질문

• RQ1 HDR 텍스처와 반사체를 갖춘 매우 사실적인 실내 재구성이 ML 모델의 시뮬레이션-현실 간 도메인 차이를 줄일 수 있을까?
• RQ2 평면 거울 및 유리 반사체의 포함이 렌더링의 사진 리얼리즘과 의미 정확도에 어떤 영향을 미치는가?
• RQ3 의미 및 인스턴스 주석의 품질과 구조는 3D/2D 작업 및 구현형 AI 벤치마크에 어떻게 활용될 수 있는가?
• RQ4 Replica는 현실감 및 주석 세부 정보 측면에서 기존 재구성 기반 데이터셋(Matterport3D, ScanNet 등)과 어떻게 비교되는가?
• RQ5 Replica를 Habitat와 함께 사용하여 구현형 에이전트를 위한 내비게이션, 지시 이행 및 질문 응답을 어떻게 학습하고 테스트할 수 있는가?

주요 결과

• Replica는 의미 클래스/인스턴스 주석 및 반사체(유리/거울)가 포함된 18개의 씬으로 구성됩니다.
• HDR 텍스처는 이전 데이터셋 대비 매우 높은 다이나믹 레인지(약 85,000:1, >16 f-stops)를 제공합니다.
• 데이터셋은 렌더링 가능한 반사체와 물체 경계에서의 높은 수준의 의미 정확성을 도입하여 정확한 인스턴스 및 클래스 분할을 가능하게 합니다.
• Replica는 일부 이전 재구성 기반 데이터셋(MP3D, ScanNet) 대비 색상/기하/의미 해상도가 더 높음을 입증합니다.
• 렌더링, 실험 및 ML 워크플로우를 촉진하기 위해 최소한의 C++ SDK와 Habitat 호환성을 제공합니다.
• 다양한 구성으로 같은 공간의 시간에 따른 배열 변화를 포착하기 위해 여섯 개의 FRL 아파트 씬이 제시됩니다.