[논문 리뷰] Semantic Scene Completion from a Single Depth Image

Shuran Song, Fisher Yu외 4명|arXiv (Cornell University)|2016. 11. 28.

Advanced Vision and Imaging참고 문헌 14인용 수 42

한 줄 요약

이 논문은 단일 깊이 영상에서 결합된 점유도 및 의미 정보를 활용하여 의미 있는 장면 완성과 의미 레이블링을 동시에 수행하는 엔드 투 엔드 3D 컨볼루션 신경망인 SSCNet을 제안한다. 이 방법은 수신 영역을 확장하기 위해 확장 기반 3D 컨텍스트 모듈을 사용하며, 밀도 있는 부피적 주석이 있는 대규모 합성 3D 장면인 SUNCG 데이터셋을 도입하여, 별도의 접근 방식에 비해 병렬 학습이 성능 향상에 기여함을 입증한다.

ABSTRACT

This paper focuses on semantic scene completion, a task for producing a complete 3D voxel representation of volumetric occupancy and semantic labels for a scene from a single-view depth map observation. Previous work has considered scene completion and semantic labeling of depth maps separately. However, we observe that these two problems are tightly intertwined. To leverage the coupled nature of these two tasks, we introduce the semantic scene completion network (SSCNet), an end-to-end 3D convolutional network that takes a single depth image as input and simultaneously outputs occupancy and semantic labels for all voxels in the camera view frustum. Our network uses a dilation-based 3D context module to efficiently expand the receptive field and enable 3D context learning. To train our network, we construct SUNCG - a manually created large-scale dataset of synthetic 3D scenes with dense volumetric annotations. Our experiments demonstrate that the joint model outperforms methods addressing each task in isolation and outperforms alternative approaches on the semantic scene completion task.

연구 동기 및 목표

• 이전 연구가 장면 완성과 의미 레이블링을 별개의 과제로 간주하는 데에 한계가 있음을 해결하고자, 단일 깊이 맵으로부터 부피적 점유도와 물체 카테고리를 동시에 예측하고자 한다.
• 물체 의미 정보와 공간적 점유 패턴 간의 강력한 결합을 활용하여 3D 장면 이해를 향상시키고자 한다.
• 보이는 표면을 초월해 막힘 영역까지 포함한 완전한 3D 장면 구조를 추론할 수 있는 딥 러닝 모델을 개발하고자 한다.
• 대규모이고 현실적인 합성 데이터셋을 구축하여 부피적 주석이 밀도 있게 포함된 병행 장면 완성 및 의미 레이블링 모델의 훈련과 평가를 지원하고자 한다.

제안 방법

• SSCNet은 단일 깊이 영상을 입력으로 받아 카메라의 시야 부피 내 모든 볼록체에 대해 점유도와 의미 레이블을 출력하는 엔드 투 엔드 3D 컨볼루션 네트워크이다.
• 네트워크는 효율적으로 수신 영역을 확장하기 위해 3D 확장 기반 컨텍스트 모듈을 활용하여 장거리 3D 공간적 컨텍스트를 효과적으로 모델링할 수 있다.
• 모델은 45,000개 이상의 3D 실내 장면와 밀도 있는 부피적 주석이 포함된 새로운 대규모 합성 데이터셋인 SUNCG를 사용하여 훈련된다.
• SUNCG는 개별적으로 레이블이 부여된 3D 물체 메시를 수작업으로 설계하여 조합한 3D 장면에서 유도되며, 이는 볼록화되어 의미 레이블이 부여된 밀도 있는 3D 장면 볼륨을 생성한다.
• 네트워크는 점유도 예측과 의미 레이블링 양 측면에서 공동 감독을 통해 훈련되어 두 과제 간 상호 감독이 가능해진다.
• 아키텍처는 희소한 3D 데이터를 처리하고 부피 공간 전역에서 고해상도 특징 학습을 유지하도록 최적화되어 있다.

실험 결과

연구 질문

• RQ1 단일 깊이 영상에서 부피적 점유도와 의미 레이블을 병행 예측하는 것이 각 과제를 별도로 처리하는 방법보다 우수한 성능을 내는가?
• RQ2 3D 확장 기반 컨텍스트 모듈이 장면 완성 및 의미 레이블링을 위한 장거리 공간적 의존성을 포착하는 데 얼마나 효과적인가?
• RQ3 밀도 있는 부피적 주석이 포함된 대규모 합성 데이터셋이 의미 있는 장면 완성 성능 향상에 어느 정도 기여하는가?
• RQ4 주변 물체(예: 테이블, 바닥)의 맥락적 단서는 부분적으로 관찰된 물체(예: 의자)의 인식과 완성에 어떻게 기여하는가?

주요 결과

• 장면 완성과 의미 레이블링을 별도로 처리하는 방법에 비해 병합 학습의 이점을 입증하며, SSCNet 모델이 병행 예측에서 뛰어난 성능을 보였다.
• 3D 확장 기반 컨텍스트 모듈을 사용함으로써 수신 영역을 크게 확장하면서도 파rameter 수의 과도한 증가 없이 성능 향상이 뚜렷하게 이루어졌다.
• 45,600개 이상의 합성 3D 장면과 84개의 물체 카테고리가 포함된 SUNCG 데이터셋은 부피적 장면 이해를 위한 풍부하고 다양한 현실적인 훈련 데이터를 제공한다.
• SUNCG 데이터셋의 평균 각 방에는 14개 이상의 물체가 포함되어 있어 학습에 유용한 풍부한 맥락적 관계를 제공한다.
• 모델은 장면 완성과 의미 레이블링 양 측면에서 뛰어난 성능을 달성하였으며, 오차 시각화 결과에서 막힘 영역에서의 오진 양성 및 오진 음성 수가 감소한 것으로 나타났다.
• 부분적으로만 깊이 정보가 제공되는 경우에도, 네트워크는 침대나 의자와 같은 물체의 전체 3D 형태와 의미 레이블을 성공적으로 예측하였다.