[논문 리뷰] Joint 2D-3D-Semantic Data for Indoor Scene Understanding

Iro Armeni, Sasha Sax외 2명|arXiv (Cornell University)|2017. 02. 03.

3D Surveying and Cultural Heritage참고 문헌 8인용 수 684

한 줄 요약

이 논문은 인스턴스 수준의 시맨틱 주석이 포함된 13개 객체 클래스에 걸쳐 상호 등록된 2D(RGB, 깊이, 노멀, 360° 이미지)와 3D(메시, 포인트 클라우드) 모달리티를 제공하는 크고 풍부하게 주석된 실내 데이터셋을 소개합니다. 교차 모달 및 공동 학습을 가능하게 하여 실내 장면 이해를 돕습니다.

ABSTRACT

We present a dataset of large-scale indoor spaces that provides a variety of mutually registered modalities from 2D, 2.5D and 3D domains, with instance-level semantic and geometric annotations. The dataset covers over 6,000m2 and contains over 70,000 RGB images, along with the corresponding depths, surface normals, semantic annotations, global XYZ images (all in forms of both regular and 360° equirectangular images) as well as camera information. It also includes registered raw and semantically annotated 3D meshes and point clouds. The dataset enables development of joint and cross-modal learning models and potentially unsupervised approaches utilizing the regularities present in large-scale indoor spaces. The dataset is available here: http://3Dsemantics.stanford.edu/

연구 동기 및 목표

• 조인트 및 교차 모달 학습을 지원하는 대규모 다중 모달리티 실내 데이터셋의 필요성을 제시한다.
• 일관된 의미 주석이 모달리티 간에 일관된 2D RGB, 깊이, 노멀, 360° 이퀴리앵귤러 이미지, 3D 메시, 포인트 클라우드를 포함하는 동기화된 컬렉션을 제공한다.
• 장면 이해, 깊이/노멀 추정, 객체 탐지, 분할 및 비가시 재구성 등과 같은 다운스트림 작업을 가능하게 한다.
• 크로스 도메인 및 자가감 학습 접근법의 개발을 촉진하기 위해 데이터 수집, 처리 파이프라인 및 기준 결과를 제공한다.

제안 방법

• Matterport 스캐닝으로 여섯 개의 큰 실내 영역을 확보하여 3D 텍스처 메시, 포인트 클라우드 및 원시 RGB-D 데이터를 얻는다.
• 3D 포인트 클라우드에 13개 객체 클래스와 11개 장면 레이블을 주석화한 뒤 메시 및 2D 이미지에 주석을 투영한다.
• 3D 시맨틱은 이미지 도메인에 투영하여 2D 시맨틱 레이블을 생성하고 3D 시맨틱 메시를 제공한다.
• 360° 이퀴리앵귤러 이미지와 시맨틱 콘텐츠 엔트로피에 의해 안내된 샘플링 전략을 통해 추가 일반 RGB-D 이미지를 샘플링하여 생성한다.
• 3D 메시로부터 깊이 이미지를 렌더링(z-buffer)하고 메시로부터 표면 노멀을 계산한다; 16비트 깊이 및 24비트 노멀 이미지로 저장한다.
• 3D 좌표 인코딩된 OpenEXR 이미지와 일관된 명명 규칙을 제공한다; 데이터 수집, 처리 및 샘플링 워크플로를 설명한다.

실험 결과

연구 질문

• RQ1 상호 등록된 2D, 2.5D, 3D 모달리티를 실내 장면 이해를 위해 어떻게 함께 활용할 수 있는가?
• RQ2 2D 및 2.5D 모달리티에 투영될 때 3D 기반 시맨틱 주석의 이점은 무엇인가?
• RQ3 다양한 모달리티를 갖춘 대규모 실내 데이터셋이 교차 모달 및 비지도 학습 접근법을 지원할 수 있는가?
• RQ4 이 다중 모달리티 데이터를 사용한 3D 객체 탐지에 대해 어떤 기준 결과를 확립할 수 있는가?
• RQ5 시맨틱 엔트로피를 기반으로 한 샘플링 전략이 주석 이미지의 다양성과 활용성에 어떤 영향을 미치는가?

주요 결과

• 데이터셋은 여섯 개 영역에 걸쳐 깊이, 표면 노멀, 시맨틱 주석, 글로벌 XYZ 이미지 및 카메라 메타데이터를 포함한 70,496개의 일반 RGB 이미지와 1,413개의 이퀴레크스 렌더링 RGB 이미지를 포함한다.
• 이는 13개 객체 클래스와 11개 장면 레이블을 가진 695,878,620개의 3D 포인트와 1,266,295개의 3D 메시 면을 제공하여 교차 모달 시맨틱 전이 및 비가시 분석을 가능하게 한다.
• 3D 시맨틱은 2D 시맨틱 이미지에 투영되어 다중 도메인에서의 그라운드 트루스 주석을 가능하게 하고 3D 객체 탐지 및 장면 파싱과 같은 작업을 지원한다.
• 샘플링 파이프라인은 이퀴레귤러 데이터에서 스캔 위치당 72장의 이미지를 생성하고 카메라 요/피치/시야 분포 및 엔트로피 기반 필터링을 통해 시맨틱적으로 다양성을 보존한다.
• 기준 결과가 제공되며, 3D 포인트 클라우드에서의 3D 객체 탐지에 대해 계층적 파싱 및 SVM/CRF 기반 방법을 포함하여 교차 모달 및 계층적 접근법 평가에 대한 데이터셋의 유용성을 시연한다.
• 데이터셋은 추가 데이터(3D 메시 및 이퀴레귤러 프로젝션을 통해)를 생성 가능하게 하며 모달리티 간 감독 학습 및 잠재적 비지도 학습 접근법을 지원한다.