[논문 리뷰] 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior

Xiaokang Chen, Kwan-Yee Lin외 3명|arXiv (Cornell University)|2020. 03. 31.

Advanced Vision and Imaging참고 문헌 46인용 수 13

한 줄 요약

이 논문은 부분 관측에서 완전한 3D 스케치를 추론하기 위해 조건부 변동 자동차오더(Conditional Variational Autoencoder, CVAE) 기반의 3D 스케치 환기 모듈을 통한 준지도 구조 사전 정보를 활용하는 3D 스케치 인식 세분화 장면 완성 프레임워크를 제안한다. 3D 스케치를 통해 기하학적 구조를 명시적으로 인코딩함으로써, 세 가지 벤치마크에서 저해상도(60×36×60)에서 최신 기술 수준의 성능을 달성하였으며, 이전 방법들보다 최대 4.6% 높은 SSC mIoU 성능을 기록하였다.

ABSTRACT

The goal of the Semantic Scene Completion (SSC) task is to simultaneously predict a completed 3D voxel representation of volumetric occupancy and semantic labels of objects in the scene from a single-view observation. Since the computational cost generally increases explosively along with the growth of voxel resolution, most current state-of-the-arts have to tailor their framework into a low-resolution representation with the sacrifice of detail prediction. Thus, voxel resolution becomes one of the crucial difficulties that lead to the performance bottleneck. In this paper, we propose to devise a new geometry-based strategy to embed depth information with low-resolution voxel representation, which could still be able to encode sufficient geometric information, e.g., room layout, object's sizes and shapes, to infer the invisible areas of the scene with well structure-preserving details. To this end, we first propose a novel 3D sketch-aware feature embedding to explicitly encode geometric information effectively and efficiently. With the 3D sketch in hand, we further devise a simple yet effective semantic scene completion framework that incorporates a light-weight 3D Sketch Hallucination module to guide the inference of occupancy and the semantic labels via a semi-supervised structure prior learning strategy. We demonstrate that our proposed geometric embedding works better than the depth feature learning from habitual SSC frameworks. Our final model surpasses state-of-the-arts consistently on three public benchmarks, which only requires 3D volumes of 60 x 36 x 60 resolution for both input and output. The code and the supplementary material will be available at https://charlesCXK.github.io.

연구 동기 및 목표

• 저해상도 바vox 표현으로 인해 발생하는 세분화 장면 완성(SSC)의 성능 저하 문제를 해결하기 위해.
• 암묵적인 깊이 특징에 의존하는 대신 3D 스케치를 사용하여 기하학적 구조를 명시적으로 인코딩함으로써 장면 복원 및 의미 레이블링 정확도를 향상시키기 위해.
• 부족하거나 가려진 장면에서 완성 과정을 안내하는 데에 구조 사전 정보를 활용하는 경량이며 효과적인 프레임워크를 개발하기 위해.
• 명시적인 기하학적 임베딩을 통해 3D 스케치가 암묵적인 깊이 특징 학습보다 저해상도 환경에서 더 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 해상도에 민감하지 않은 방식으로 기하학적 구조(예: 방 구조, 물체 크기/형상 등)를 인코딩하는 3D 스케치 기반 특징 임베딩을 도입한다.
• 부분적인 2D 또는 2.5D 관측에서 타당한 전체 3D 스케치를 생성하기 위해 조건부 변동 자동차오더(CVAE) 기반의 3D 스케치 환기 모듈을 제안한다.
• 이중 단계 프레임워크를 사용한다: 먼저 입력(TSDF 또는 RGB)으로부터 3D 스케치를 환기하고, 그 다음에 환기된 스케치를 이용해 점유도 및 의미 예측을 안내한다.
• CVAE의 사전 분포를 활용하여 다양한 실재성 있는 3D 스케치를 생성함으로써 구조 일관성을 유지하는 준지도 학습을 구현한다.
• TSDF는 구조 예측에, RGB는 의미 보정에 사용하여 다중 모odal 환경에서 각 모odal의 강점을 적극적으로 활용한다.
• 60×36×60 바vox 해상도에서 높은 정확도를 달성하면서도 높은 효율성을 유지하는 경량 네트워크를 설계한다.

실험 결과

연구 질문

• RQ1 암묵적인 깊이 특징 학습과 비교해 명시적인 3D 스케치 기반 기하학적 임베딩이 세분화 장면 완성 성능 향상에 기여하는가?
• RQ2 CVAE를 통한 준지도 구조 사전 정보가 저해상도 환경에서 보이지 않는 장면 영역의 복원에 향상 효과를 미치는가?
• RQ3 3D 스케치의 해상도에 민감하지 않은 특성이 부족하거나 저해상도 입력에서의 성능에 어떤 영향을 미치는가?
• RQ4 다중 모달 입력(TSDF + RGB)이 구조 사전 정보 및 의미 레이블링 정확도 향상에 기여하는가?

주요 결과

• 제안된 방법은 입력 및 출력 해상도가 60×36×60인 조건에서 세 가지 공개 벤치마크(NYU, NYUCAD, ScanNet)에서 최신 기술 수준의 성능을 달성하였다.
• 암묵적인 깊이 특징을 사용하지만 지도 학습 없이도 기반 모델 대비 SSC mIoU를 4.6% 향상시키고, SC IoU를 3.1% 향상시켰다.
• 스케치 환기 과정에 TSDF를 사용할 경우 RGB 전용 입력 대비 SC IoU가 3.3% 향상되어 기하학적 입력이 구조 예측에 더 유리함을 입증하였다.
• TSDF로 스케치 생성, RGB로 의미 보정을 병행할 경우 TSDF 단독 사용 대비 SSC mIoU가 3.9% 향상되었으며, 이는 다중 모달 입력의 유효성을 보여준다.
• 입력 및 출력 해상도를 60×60에서 80×80으로 증가시켰을 때 NYUCAD에서 SC IoU가 5.0% 향상되었으며(84.2%에서 86.0%로), 높은 의미 일관성을 유지하였다.
• 정성적 결과 분석에서 CVAE 기반 환기 모듈은 더 선명하고 완성도 높은 스케치를 생성하여 더 정확하고 일관성 있는 의미 예측 및 명확한 경계를 제공함을 확인하였다.