[논문 리뷰] 3D Object Reconstruction from a Single Depth View with Adversarial Learning

Bo Yang, Hongkai Wen외 4명|arXiv (Cornell University)|2017. 08. 26.

Advanced Vision and Imaging참고 문헌 42인용 수 27

한 줄 요약

이 논문은 조건부 GAN과 오토에인코더를 결합한 생성적 적대적 네트워크인 3D-RecGAN을 제안한다. 이는 단일 깊이 영상에서 완전한 3D 물체 형상을 복원한다. 64³ 해상도에서 최신 기술 수준의 성능을 달성하며, 분류 레이블이나 다중 시점 입력 없이도 카테고리별 및 교차 카테고리 복원에서 모두 기존 방법을 능가한다.

ABSTRACT

In this paper, we propose a novel 3D-RecGAN approach, which reconstructs the complete 3D structure of a given object from a single arbitrary depth view using generative adversarial networks. Unlike the existing work which typically requires multiple views of the same object or class labels to recover the full 3D geometry, the proposed 3D-RecGAN only takes the voxel grid representation of a depth view of the object as input, and is able to generate the complete 3D occupancy grid by filling in the occluded/missing regions. The key idea is to combine the generative capabilities of autoencoders and the conditional Generative Adversarial Networks (GAN) framework, to infer accurate and fine-grained 3D structures of objects in high-dimensional voxel space. Extensive experiments on large synthetic datasets show that the proposed 3D-RecGAN significantly outperforms the state of the art in single view 3D object reconstruction, and is able to reconstruct unseen types of objects. Our code and data are available at: https://github.com/Yang7879/3D-RecGAN.

연구 동기 및 목표

• 부분적인 깊이 영상에서 인과적으로 모호한 오염으로 인해 완전한 3D 물체 기하학을 복원하는 문제를 해결하기 위해.
• 세밀한 구조를 복원하지 못하는 전통적 방법(예: 포isson 복원)과 저해상도 딥러닝 모델의 한계를 극복하기 위해.
• 학습 및 추론 시 분류 레이블이 필요 없이 다양한 물체 카테고리에 일반화 가능한 3D 복원 프레임워크를 개발하기 위해.
• 3D 바이트스페이스의 고차원에서 GAN 학습을 안정화시키기 위해 이진 실재/가짜 레이블이 아닌 디스크리미네이터의 잠재 분포를 사용하기 위해.
• 엔드 투 엔드 트레이너블 생성 모델링을 통해 단일 2.5D 깊이 입력에서 고해상도(64³) 3D 형상 완성 기능을 제공하기 위해.

제안 방법

• 모델은 단일 깊이 영상을 3D 컨volution 레이어를 사용해 저차원 잠재 벡터로 인코딩하여 일반적인 3D 기하학을 표현한다.
• 디코더는 잠재 벡터에서 완전한 3D 점유 그리드를 복원하여 군집적인 3D 형상을 생성한다.
• 조건부 디스크리미네이터는 실재 3D 형상과 생성된 형상을 구분하도록 훈련되며, 실재 및 가짜 형상의 잠재 분포를 사용하여 학습을 안정화시킨다.
• 적대적 학습은 복원된 형상에 세밀한 구조적 세부 정보를 추가함으로써 오토에인코더의 출력을 정교화시킨다.
• 프레임워크는 엔드 투 엔드 트레이너블이며, 분류 레이블이나 다중 시점 입력 없이도 바이트 그리드 표현의 깊이 영상에 직접 작동한다.
• 이진 레이블이 아닌 잠재 분포를 디스크리미네이터에 사용함으로써 고차원 3D 공간에서의 학습 안정성과 GAN 붕괴 방지를 향상시켰다.

실험 결과

연구 질문

• RQ1 단일 깊이 영상으로 세밀한 세부 사항을 포함한 완전한 고해상도 3D 형상을 복원할 수 있는가?
• RQ2 오토에인코더와 조건부 GAN을 결합함으로써 단일 오토에인코더나 GAN보다 3D 형상 완성 성능이 향상되는가?
• RQ3 학습 시 분류 레이블이 없이도 새로운 물체 카테고리에 일반화 가능한가?
• RQ4 디스크리미네이터에서 잠재 분포를 사용하면 3D GAN의 학습 안정성과 복원 품질이 향상되는가?
• RQ5 학습 중에 볼 수 없었던 물체 유형이 포함된 테스트 세트에서 교차 카테고리 복원 성능은 어떠한가?

주요 결과

• 의자 카테고리에서 3D-RecGAN은 평균 교차율(Intersection over Union, IoU) 0.661을 기록하여 Varley 등(0.564)의 최신 기술 수준 방법을 크게 앞서며 성능을 뛰어넘었다.
• 의자, 스툴, 화장실 등 다중 카테고리 테스트에서 3D-RecGAN은 IoU 0.554를 기록하여 Varley 등(0.493)과 3D-RecAE(0.514)를 모두 앞섰다.
• 교차 카테고리 복원 테스트에서 모델은 한 카테고리에 대해 학습하고 다섯 개의 다른 카테고리에서 테스트한 결과, 평균 IoU가 0.356(Group 1), 0.369(Group 2), 0.351(Group 3)을 기록하여 강력한 일반화 능력을 입증했다.
• 다중 카테고리 테스트에서 3D-RecGAN은 Chamfer Distance(CE loss) 0.117을 기록하여 Varley 등(0.125)보다 낮아 형상 유지도가 뛰어나다는 것을 보여주었다.
• 디스크리미네이터에서 잠재 분포를 사용함으로써 학습이 더 안정적이며, 이는 이진 레이블 체계가 고차원 3D 공간에서 자주 실패하는 것과 대비된다.
• 입력 깊이 영상에서 부분적으로 가려진 경우에도 3D-RecGAN은 의자나 스툴의 다리나 지지대와 같은 세밀한 구조를 성공적으로 복원했다.