[논문 리뷰] Semantic Scene Completion Combining Colour and Depth: preliminary experiments

Andre Bernardes Soares Guedes, Teófilo de Campos외 1명|arXiv (Cornell University)|2018. 02. 13.

Advanced Vision and Imaging참고 문헌 11인용 수 20

한 줄 요약

이 논문은 RGB와 깊이 데이터를 조기에 및 중간 수준의 융합 전략을 사용하여 SSCNet 아키텍처에 융합함으로써 의미적 장면 완성(semantic scene completion, SSC)을 향상시키는 것을 제안한다. 뉘앙스 정보를 통합함에도 불구하고, NYU Depth v2 데이터셋에서의 실험 결과 원래의 깊이 전용 SSCNet보다 향상되지 않았으며, 장면 완성의 최고 성능은 56.6% IoU, 의미 분류의 최고 성능은 30.5%로, 현재의 융합 방법이 이 설정에서 RGB를 효과적으로 활용하지 못하고 있음을 시사한다.

ABSTRACT

Semantic scene completion is the task of producing a complete 3D voxel representation of volumetric occupancy with semantic labels for a scene from a single-view observation. We built upon the recent work of Song et al. (CVPR 2017), who proposed SSCnet, a method that performs scene completion and semantic labelling in a single end-to-end 3D convolutional network. SSCnet uses only depth maps as input, even though depth maps are usually obtained from devices that also capture colour information, such as RGBD sensors and stereo cameras. In this work, we investigate the potential of the RGB colour channels to improve SSCnet.

연구 동기 및 목표

• RGB 색상 정보를 통합함으로써 깊이 전용 방법을 초월하여 3D 의미적 장면 완성 성능이 향상되는지 조사하기.
• 3D CNN 아키텍처에서 RGB와 깊이 특징을 융합하기 위한 조기 및 중간 수준 융합 전략을 평가하기.
• NYU Depth v2 데이터셋에서 12개의 객체 카테고리로 장면 완성 및 의미 분류 성능 향상 여부 평가하기.
• 향상되지 않는 이유가 최적화되지 않은 융합 기법, 데이터셋 특성, 또는 깊이 기하학적 정보의 본질적 중복성 때문인지 규명하기.

제안 방법

• fTSDF로 인코딩된 깊이와 정규화된 RGB 박층 표현을 입력으로 받는 수정된 SSCNet 아키텍처를 제안.
• RGB 값을 -1로 설정하여 음영 또는 빈 영역를 처리함으로써 깊이 기하학과 공간 정렬을 유지한 3D 박층 그리드에 RGB 값을 인코딩.
• 두 가지 융합 전략을 구현: 조기 융합(입력 레이어에서 RGB와 깊이를 연결) 및 중간 수준 융합(초기 합성곱 레이어 이후 특징을 연결).
• 랜덤 초기화, 특징 학습(원래 SSCNet 가중치 동결), 미세조정(낮은 학습률로 모든 가중치 학습), 수술 기법(입력 레이어 가중치 부분 초기화)을 포함한 네 가지 최적화 전략을 사용해 모델을 훈련.
• 바이너리 벡스 볼즈 볼륨화를 사용해 3D 모델의 진짜 레이블을 생성하고, 교차 엔트로피 손실 함수를 사용하여 볼륨 단위 의미 분류를 수행하며, 모든 테스트 볼륨과 클래스에 대해 교차율(Intersection over Union, IoU)로 성능 평가.
• 지상 진실 레이블을 위해 binvox 볼륨화를 적용하고, 12개의 의미 카테고리가 포함된 NYU Depth v2 데이터셋을 사용.

실험 결과

연구 질문

• RQ1 SSCNet에서 RGB 색상 정보를 추가함으로써 깊이 전용 입력 대비 의미적 장면 완성 성능이 향상되는가?
• RQ2 조기 및 중간 수준 융합 전략은 3D 장면 완성에서 RGB와 깊이 특징을 융합하는 데 어떻게 비교되는가?
• RQ3 제안된 RGB 강화 모델이 왜 NYU Depth v2 데이터셋에서 원래의 깊이 전용 SSCNet을 능가하지 못하는가?
• RQ4 제약 없는 미세조정 또는 제약 있는 특징 학습 전략이 RGB-깊이 융합 모델의 일반화 성능 향상과 과적합 방지에 기여하는가?
• RQ5 향상되지 않는 이유가 데이터셋의 레이블 세트, 장면의 복잡성, 또는 깊이 기하학적 정보의 본질적 중복성 때문인가?

주요 결과

• 제안된 RGB 강화 모델은 NYU Depth v2 데이터셋에서 원래의 깊이 전용 SSCNet 성능을 초월하지 못했다.
• 기록된 최고 성능은 장면 완성에서 56.6% IoU, 의미 분류에서 30.5%로, 원래 SSCNet의 성능과 동일했다.
• 색상 전용 네트워크는 반복 횟수에 따라 훈련 손실이 단조롭게 증가했지만, 경쟁적인 성능로 수렴하지 못했다.
• 제약 없는 미세조정은 제약 있는 방법보다 손실 함수를 더 빨리 감소시켰지만, 과적합을 유도하여 1000회 반복 이후 검증 IoU가 감소했다.
• 특징 학습, 미세조정, 수술 기법 간 성능 차이가 유의미하지 않아 가중치 적응의 유용성이 제한됨을 시사했다.
• 결과적으로 fTSDF로 인코딩된 깊이가 이미 매우 구분력이 높고, 현재의 융합 방법이 이 맥락에서 RGB 정보를 효과적으로 활용하지 못하고 있음을 시사한다.