[논문 리뷰] Matterport3D: Learning from RGB-D Data in Indoor Environments

Anne Lynn S. Chang, Angela Dai외 7명|arXiv (Cornell University)|2017. 09. 18.

Advanced Vision and Imaging참고 문헌 45인용 수 334

한 줄 요약

Matterport3D는 90개의 건물 규모 장면으로 구성된 대규모 RGB-D 데이터셋을 도입하며, 194,400개의 RGB-D 이미지와 10,800개의 파노라마를 제공합니다. 이는 정밀한 글로벌 정합과 의미론적 주석이 포함된 다양한 지도학습 및 자체지도 indoor 장면 이해 작업을 가능하게 합니다.

ABSTRACT

Access to large, diverse RGB-D datasets is critical for training RGB-D scene understanding algorithms. However, existing datasets still cover only a limited number of views or a restricted scale of spaces. In this paper, we introduce Matterport3D, a large-scale RGB-D dataset containing 10,800 panoramic views from 194,400 RGB-D images of 90 building-scale scenes. Annotations are provided with surface reconstructions, camera poses, and 2D and 3D semantic segmentations. The precise global alignment and comprehensive, diverse panoramic set of views over entire buildings enable a variety of supervised and self-supervised computer vision tasks, including keypoint matching, view overlap prediction, normal prediction from color, semantic segmentation, and region classification.

연구 동기 및 목표

• 장면 이해 모델 학습을 위한 대규모이고 다양한 RGB-D 실내 데이터셋의 부족을 해소한다.
• 전 세계적으로 정렬된 빌딩 스케일 RGB-D 데이터셋을 파노라마 뷰와 풍부한 의미 주석과 함께 제공한다.
• 키포인트 매칭, 뷰 중첩 예측, 표면 법선 추정, 영역 분류, 의미 보셀 라벨링 등 다양한 학습 작업을 가능하게 하고 기준선을 확립한다.
• 데이터셋이 descriptor, 루프-클로저, 법선 및 다양한 작업에서의 의미 이해 학습을 향상하는지 시연한다.

제안 방법

• 트라이포드 기반의 Matterport 촬영은 6 방향에 걸쳐 파노라마당 18개의 RGB-D 이미지를 생성하고 HDR 색상을 적용한다.
• 글로벌 번들 조정과 텍스처링된 메시 재구성은 6-DoF 카메라 포즈와 정렬된 표면 표현을 제공한다.
• 크라우드소싱 및 전문 검증을 거친 40개 물체 카테고리의 3D 인스턴스 수준 의미 주석.
• 키포인트 디스크립터, 뷰 중첩 예측, 표면 법선 추정, 영역 유형 분류, 의미 보셀 라벨링에 대한 학습 이점을 보여주는 베이스라인 실험.

실험 결과

연구 질문

• RQ1 Matterport3D가 다양한 실내 뷰에서 강인한 키포인트 매칭을 위해 심층 로컬 디스크립터를 프리트레이닝하고 개선할 수 있는가?
• RQ2 포괄적인 파노라마 샘플링이 뷰 중첩 예측을 위한 효과적인 루프-클로저 학습을 가능하게 하는가?
• RQ3 고품질 Matterport3D 깊이 학습이 표면 법선 추정을 개선하고 다른 데이터셋으로 일반화하는가?
• RQ4 이미지 시야(FOV)(단일 대 파노라마)가 영역 유형 분류 성능에 어떤 영향을 미치는가?
• RQ5 Matterport3D에서의 의미 보셀 라벨링 성능은 어떠하며, 이전 데이터셋과 어떻게 비교되는가?

주요 결과

• Matterport3D에서의 프리트레이닝은 ResNet-50 디스크립터를 사용할 때 SUN3D 벤치마크에서 키포인트 매칭 성능을 향상시킨다.
• 뷰 중첩 예측은 Matterport3D 데이터의 이점을 활용하여 더 높은 검색 지표를 달성하고, 추가적인 중첩 회귀 손실이 더 큰 이점을 제공한다.
• Matterport3D에서 프리트레이닝 후 NYUv2에서 평가할 때 표면 법선 추정이 향상되며, MP 프리트레이닝이 정성적·정량적 결과 및 교차 데이터셋 일반화에 있어 더 나은 성능을 보인다.
• 파노라마 뷰의 시야 확장이 여러 영역 카테고리(예: 사무실, 복도, 계단, 주방 등)의 정확도를 높이는 데 기여하여 영역 유형 분류에 이점을 준다.
• Matterport3D 테스트 장면에서의 의미 보셀 라벨링은 20개 클래스에 대해 평균 정확도 70.3%를 달성하여 3D 의미 이해가 강력함을 보여준다.