[논문 리뷰] ForkNet: Multi-branch Volumetric Semantic Completion from a Single Depth Image

Yida Wang, David Joseph Tan외 2명|arXiv (Cornell University)|2019. 09. 03.

Advanced Vision and Imaging참고 문헌 26인용 수 8

한 줄 요약

ForkNet는 단일 깊이 영상에서 3D 세분화 완성에 대해 다중 분지 생성 모델을 제안하며, 공유된 잠재 공간을 사용하고 단일 인코더와 기하학적, 의미적, 부분 표면 재구성에 전용인 세 개의 생성기로 구성된다. 실질적인 합성 훈련 데이터를 생성하고, 분지 간 특징 연결 및 다중 판별자를 활용함으로써 성능을 향상시켜, 합성(SUNCG) 및 실세계(NYU) 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, ShapeNet에서 평균 IoU는 84.1%, 실세계 3D 객체 완성에서 23.8%를 기록하였다.

ABSTRACT

We propose a novel model for 3D semantic completion from a single depth image, based on a single encoder and three separate generators used to reconstruct different geometric and semantic representations of the original and completed scene, all sharing the same latent space. To transfer information between the geometric and semantic branches of the network, we introduce paths between them concatenating features at corresponding network layers. Motivated by the limited amount of training samples from real scenes, an interesting attribute of our architecture is the capacity to supplement the existing dataset by generating a new training dataset with high quality, realistic scenes that even includes occlusion and real noise. We build the new dataset by sampling the features directly from latent space which generates a pair of partial volumetric surface and completed volumetric semantic surface. Moreover, we utilize multiple discriminators to increase the accuracy and realism of the reconstructions. We demonstrate the benefits of our approach on standard benchmarks for the two most common completion tasks: semantic 3D scene completion and 3D object completion.

연구 동기 및 목표

• 단일 깊이 영상에서 3D 세분화 완성에 대한 짝지어진 훈련 데이터 부족 문제를 해결한다.
• SUNCG와 같은 기존 벤치마크에서 정확도가 떨어지거나 노이즈가 있는 의미적 주석 문제를 해결한다.
• 강한 가림을 겪는 상황에서도 일반화 능력과 현실감을 향상시킨다.
• 세밀한 기하학적 디테일과 정확한 의미 레이블링을 갖춘 완전한 부피 영역 시나리오의 고품질 생성을 가능하게 한다.
• 보다 강력한 내구성을 확보하기 위해 지도학습과 비지도학습을 융합한 통합 프레임워크를 개발한다.

제안 방법

• 서명된 거리 함수(SDF) 표현을 사용하여 단일 인코더가 입력 깊이 영상을 공유된 잠재 공간으로 압축한다.
• 세 개의 병렬 생성기가 잠재 코드를 다음과 같이 복원한다: (i) 부분 부피 표면, (ii) 완성된 기하학적 부피, (iii) 완성된 의미 부피.
• 기하학적 및 의미적 분지 간 동일한 레이어에서의 특징을 연결하는 분지 간 스킵 연결을 통해 기하학적 맥락을 활용해 의미 정확도를 향상시킨다.
• 잠재 공간에서 샘플링하여 실질적인 가림과 노이즈가 포함된 짝지어진 부분 및 완성된 시나리오를 생성함으로써 합성 훈련 데이터를 생성한다.
• 다중 판별자를 사용하여 생성된 출력을 정교화함으로써 현실감과 세밀한 기하학적 디테일을 향상시킨다.
• 정확도와 일반화를 균형 있게 유지하기 위해 지도학습 재구성 손실과 비지도학습 일致성 손실을 결합한다.

실험 결과

연구 질문

• RQ1 다중 분지 생성기를 갖춘 공유 잠재 공간이 단일 깊이 영상에서 3D 세분화 완성에 효과적인가?
• RQ2 잠재 공간에서 생성된 합성 데이터가 실세계 훈련 데이터를 위한 3D 완성에 효과적으로 보완되는가?
• RQ3 기하학적 및 의미적 분지 간의 특징 융합이 의미 레이블링 정확도를 향상시키는가?
• RQ4 다중 판별자가 완성된 3D 시나리오의 현실감과 기하학적 정밀도를 크게 향상시키는가?
• RQ5 제안된 방법은 도전적인 가림과 노이즈가 있는 주석을 가진 실세계 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• ShapeNet 벤치마크에서 ForkNet는 평균 IoU 84.1%를 기록하여 이전 최신 기술 수준보다 6.5% 향상되었다.
• 실세계 3D-RecGAN 테스트 세트에서 ForkNet는 IoU 23.8%를 기록하여 3D-RecGAN보다 7.3% 향상되었고, Han et al. [13]보다 9.8% 향상되었다.
• 비지도학습 일치성 손실이 성능 향상에 가장 기여하였으며, SUNCG 데이터셋에서 IoU를 5.2% 향상시켰다.
• 제거 실험 결과, 시나리오 일치성 손실을 제거하면 평균 IoU가 80.4%로 감소하여, 이 손실이 구조적 일관성을 유지하는 데 핵심적인 역할을 한다는 것을 확인하였다.
• 모델는 잠재 공간에서 고품질이고 현실적인 훈련 샘플을 생성하여 데이터 부족 문제를 효과적으로 해결하고 일반화 능력을 향상시켰다.
• 성공에도 불구하고, 의자 다리와 같은 얇거나 작은 구조물에서는 어려움을 겪어 향후 구조 보존 향상이 필요하다는 점을 시사한다.