[논문 리뷰] 3D Object Dense Reconstruction from a Single Depth View.

Bo Yang, Stefano Rosa외 3명|arXiv (Cornell University)|2018. 02. 01.

Advanced Vision and Imaging참고 문헌 29인용 수 18

한 줄 요약

이 논문은 단일 깊이 영상에서 볼륨 격자 입력을 사용하여 완전한 3D 객체 형상을 복원하는 GAN 기반 방법인 3D-RecGAN++을 제안한다. 오토에인코더와 조건부 GAN을 결합함으로써, 다중 시야나 클래스 레이블이 필요 없이 고해상도(256³) 점유 격자를 생성하며, 가려진 영역을 정확히 복원한다. 이는 합성 및 실세계 데이터셋에서 최신 기술을 능가한다.

ABSTRACT

In this paper, we propose a novel approach, 3D-RecGAN++, which reconstructs the complete 3D structure of a given object from a single arbitrary depth view using generative adversarial networks. Unlike existing work which typically requires multiple views of the same object or class labels to recover the full 3D geometry, the proposed 3D-RecGAN++ only takes the voxel grid representation of a depth view of the object as input, and is able to generate the complete 3D occupancy grid with a high resolution of 256^3 by recovering the occluded/missing regions. The key idea is to combine the generative capabilities of autoencoders and the conditional Generative Adversarial Networks (GAN) framework, to infer accurate and fine-grained 3D structures of objects in high-dimensional voxel space. Extensive experiments on large synthetic datasets and real-world Kinect datasets show that the proposed 3D-RecGAN++ significantly outperforms the state of the art in single view 3D object reconstruction, and is able to reconstruct unseen types of objects.

연구 동기 및 목표

• 부분적으로 가려진 영역이 있는 단일 깊이 영상에서 완전한 3D 객체 기하학을 복원하는 문제를 해결하기 위해.
• 이전 방법에서 필수였던 다중 시야나 클래스 레이블이 필요 없도록 제거하기 위해.
• 미리 보지 않은 객체 유형으로 일반화할 수 있는 고해상도 3D 복원 방법을 개발하기 위해.
• 단일 깊이 입력의 누락 영역에서 복원 정확도와 세밀한 기하학적 세부 정보를 향상시키기 위해.

제안 방법

• 해당 방법은 단일 깊이 영상의 볼륨 격자 표현을 입력으로 받아 오토에인코더를 사용해 잠재 공간으로 인코딩한다.
• 조건부 GAN 프레임워크를 활용하여, 생성자는 입력된 깊이 영상에 조건부로 완전한 3D 점유 격자를 복원하도록 학습한다.
• 생성자는 256³ 볼륨 공간에서 현실적이고 고해상도의 3D 구조를 생성하도록 적대적 손실을 통해 훈련된다.
• 판별자는 실제와 생성된 3D 점유 격자를 구분함으로써 생성자가 타당하고 세밀한 복원을 생성하도록 유도한다.
• 스킵 연결과 다중 척도 감시를 통합하여 세밀한 기하학적 세부 정보를 유지한다.
• 대규모 합성 및 실세계 Kinect 데이터셋에서 엔드 투 엔드로 훈련되어 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 깊이 영상로 고해상도와 세밀한 세부 정보를 갖춘 완전한 3D 객체 형상을 복원할 수 있는가?
• RQ2 클래스 레이블이나 다중 시야 없이 GAN 기반 모델이 새로운 객체 유형에 얼마나 잘 일반화되는가?
• RQ3 오토에인코더와 조건부 GAN을 결합함으로써 복원 품질과 기하학적 정확도가 얼마나 향상되는가?
• RQ4 제안된 방법이 최신 단일 시야 3D 복원 기술보다 성능에서 얼마나 향상되는가?

주요 결과

• 3D-RecGAN++는 합성 및 실세계 데이터셋 모두에서 최신 기술보다 뛰어난 복원 품질을 달성한다.
• 모델은 고해상도 256³ 점유 격자를 성공적으로 복원하여 가려진 영역의 세밀한 기하학적 세부 정보를 포착한다.
• 훈련 분포를 초월한 새로운 객체 유형으로도 효과적으로 일반화되며, 강인함을 입증한다.
• 제거 실험을 통해 오토에인코더와 조건부 GAN 구성 요소의 조합이 복원 정밀도를 크게 향상시킨다는 것이 확인된다.
• 기준 데이터셋에서 교차율(IoU)과 F-스코어와 같은 정량적 지표에서 기존 방법을 능가하는 성능을 보인다.