[논문 리뷰] Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling

Jiajun Wu, Chengkai Zhang외 3명|arXiv (Cornell University)|2016. 10. 24.

Image Processing and 3D Reconstruction인용 수 1,562

한 줄 요약

이 논문은 잠재 공간에서 고품질 3D 복셀 객체를 생성하는 3D-GAN을 도입하고, 2D 이미지를 3D 객체로 매핑하는 3D-VAE-GAN으로 확장하여 비지도 형상 학습과 단일 이미지 재구성을 가능하게 한다.

ABSTRACT

We study the problem of 3D object generation. We propose a novel framework, namely 3D Generative Adversarial Network (3D-GAN), which generates 3D objects from a probabilistic space by leveraging recent advances in volumetric convolutional networks and generative adversarial nets. The benefits of our model are three-fold: first, the use of an adversarial criterion, instead of traditional heuristic criteria, enables the generator to capture object structure implicitly and to synthesize high-quality 3D objects; second, the generator establishes a mapping from a low-dimensional probabilistic space to the space of 3D objects, so that we can sample objects without a reference image or CAD models, and explore the 3D object manifold; third, the adversarial discriminator provides a powerful 3D shape descriptor which, learned without supervision, has wide applications in 3D object recognition. Experiments demonstrate that our method generates high-quality 3D objects, and our unsupervisedly learned features achieve impressive performance on 3D object recognition, comparable with those of supervised learning methods.

연구 동기 및 목표

• 3D 객체 형태의 생성 모형 학습을 동기화하여 다양하고 현실적인 출력을 생성한다.
• 64^3 복셀 객체를 부피 CNN과 적대적 학습으로 매핑하는 3D-GAN 프레임워크를 제안한다.
• 판별기가 인식에 유용한 비지도 3D 형태 표현을 학습한다는 것을 Demonstrate한다.
• 2D 이미지로부터의 재구성과 이미지에서 3D 형태로의 잠재 공간 매핑을 가능하게 하는 3D-VAE-GAN으로 확장한다.

제안 방법

• 3D-GAN 도입: 제너레이터 G는 200-dim 잠재 벡터 z를 64×64×64 복셀 객체로 매핑; 판별기 D는 올-컨볼루션 네트워크를 사용하여 실제 객체와 생성 객체를 구별한다.
• 적대적 손실 L3D-GAN = log D(x) + log(1 − D(G(z)))로 학습한다.
• 훈련 안정을 위해 마지막 배치의 정확도가 ≤ 80%일 때만 판별기가 업데이트되도록 하는 적응적 훈련을 채택한다.
• 이미지 인코더 E를 추가하여 2D 이미지를 잠재 z로 매핑하고, 결합 손실 L = L3D-GAN + α1 L_KL + α2 L_recon으로 최적화하여 3D-VAE-GAN으로 확장한다.
• L_KL은 q(z|y)가 사전 분포 p(z)를 따르도록 강제하고, L_recon은 3D 재구성을 위해 ||G(E(y)) − x||2를 최소화한다.
• SUN 실내 이미지에서 여러 시점에 걸쳐 3D 형태를 렌더링하여 3D-VAE-GAN 학습을 수행한다.

실험 결과

연구 질문

• RQ1 3D-GAN이 명시적 부품 기반 모델링 없이도 새로운 고품질 3D 객체를 생성하는 확률적 잠재 공간을 학습할 수 있는가?
• RQ2 적대적으로 학습된 3D 표현이 3D 형태 분류를 위한 경쟁력 있는 비지도 특징을 제공하는가?
• RQ3 3D-VAE-GAN이 2D 이미지를 해당 3D 형태로 매핑하여 단일 이미지 3D 재구성을 가능하게 하는가?
• RQ4 학습된 잠재 공간과 판별자 활성화에서 객체 부품과 범주를 반영하는 의미론적 구조가 무엇인가?

주요 결과

• 3D-GAN은 잠재 벡터로부터 고품질의 고해상도 3D 객체를 생성하며, 이전의 확률적 방법을 능가한다.
• 판별기는 비지도이지만 효과적인 3D 형태 특징을 제공하여 경쟁력 있는 3D 객체 분류 성능을 달성하며, 다른 비지도 방법들보다 우수하다.
• 3D-VAE-GAN은 2D 이미지로부터 3D 객체 재구성을 가능하게 하며, 잠재 공간에서 형태 대수 및 보간을 시연한다.
• 잠재 공간 분석은 의미론적으로 의미 있는 차원을 드러내고, 범주 간 및 범주 내의 매끄러운 보간, 그리고 일관된 객체 부품에 대응하는 뉴런 활성화를 보인다.