[논문 리뷰] Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis

Yiyi Liao, Katja Schwarz외 2명|arXiv (Cornell University)|2019. 12. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 5

한 줄 요약

이 논문은 3D와 2D 공간에서 동시에 이미지 생성을 모델링함으로써, 3D 제어 가능한 이미지 합성에 대해 비지도 학습하는 새로운 생성 모델을 제안한다. 3D 생성자와 미분 가능 렌더러, 2D 이미지 합성 헤드를 조합함으로써, 원시 이미지에서 객체 자세와 시점과 같은 3D 요소들을 분리시켜, 3D 감독 없이도 시점 및 자세 일致성 있는 합성을 달성하며, 구형 기하도구를 사용할 경우 자동차 데이터셋에서 FID 점수 33에 이르는 성능을 기록한다.

ABSTRACT

In recent years, Generative Adversarial Networks have achieved impressive results in photorealistic image synthesis. This progress nurtures hopes that one day the classical rendering pipeline can be replaced by efficient models that are learned directly from images. However, current image synthesis models operate in the 2D domain where disentangling 3D properties such as camera viewpoint or object pose is challenging. Furthermore, they lack an interpretable and controllable representation. Our key hypothesis is that the image generation process should be modeled in 3D space as the physical world surrounding us is intrinsically three-dimensional. We define the new task of 3D controllable image synthesis and propose an approach for solving it by reasoning both in 3D space and in the 2D image domain. We demonstrate that our model is able to disentangle latent 3D factors of simple multi-object scenes in an unsupervised fashion from raw images. Compared to pure 2D baselines, it allows for synthesizing scenes that are consistent wrt. changes in viewpoint or object pose. We further evaluate various 3D representations in terms of their usefulness for this challenging task.

연구 동기 및 목표

• 2D GAN 기반의 이미지 합성에서의 제어성과 해석 가능성 부족 문제를 해결하기 위해, 시점과 객체 자세와 같은 3D 요소들이 뒤섞이는 문제를 해결한다.
• 3D 감독이나 애너테이션 없이도 원시 2D 이미지에서 직접 3D 제어 가능한 생성 모델을 학습한다.
• 이미지 생성 과정을 3D 및 2D 공간에서 동시에 모델링하여, 카메라 시점과 객체 자세 변화에 대해 일관된 이미지 합성을 가능하게 한다.
• 3D 표현 방식(예: 점군, 상자, 기울 수 있는 구)의 품질과 제어 가능성에 미치는 영향을 평가한다.
• 고해상도 이미지 합성에 2D 생성자가 필수적인지, 아니면 직접 3D에서 2D로의 생성만으로도 충분한지 조사한다.

제안 방법

• 모델은 위치, 회전, 외관과 같은 분리된 3D 요소를 가진 객체 수준의 기하도구(예: 구, 상자)를 생성하는 3D 생성자를 사용한다.
• 미분 가능 렌더러는 3D 기하도구를 2D 이미지로 투영하며, 렌더링 과정을 통해 역전파가 가능한 구조를 제공한다.
• 렌더링된 2D 특징에 조건부로 2D 생성자가 존재하며, 적대적 훈련을 통해 사진 수준의 사실적인 이미지를 합성한다.
• 모델은 다중 구성 요소 손실을 사용하여 훈련되며, 생성된 이미지의 적대적 손실, 2D 재구성 손실, 그리고 객체 정체성이 다양한 시점에서 유지되는 기하학적 일관성 손실을 포함한다.
• 이 아키텍처는 각 객체가 3D 공간에서 독립적으로 표현되고 조작되는 다중 기하도구 시나리오 생성을 지원한다.
• 제거 실험에서는 단일 기하도구 대비 다중 기하도구 표현 방식을 비교하고, 2D 생성자 및 기하학적 일관성 손실의 필요성을 평가한다.

실험 결과

연구 질문

• RQ1 3D 감독 없이도 원시 2D 이미지에서 객체 자세와 카메라 시점과 같은 3D 요소들을 분리시킬 수 있는가?
• RQ2 3D와 2D 공간에서의 동시 모델링은 순수한 2D GAN 대비 시점 일관성과 이미지 품질을 향상시키는가?
• RQ3 다양한 3D 표현 방식(예: 점군, 구, 상자)은 합성된 이미지의 품질과 제어 가능성에 어떤 영향을 미치는가?
• RQ4 고해상도 이미지 합성에 2D 생성자가 필수적인가, 아니면 3D 기하도구에서 직접 2D로의 생성만으로도 충분한가?
• RQ5 기하학적 일관성 손실은 카메라 회전에 따른 3D 객체 정체성의 강건성 향상에 기여하는가?

주요 결과

• 구형 기하도구를 사용할 경우 자동차 데이터셋에서 FID 점수 33을 기록하며, 점군(38) 및 상자(38) 표현 방식보다 우수한 성능을 보였다.
• 2D 생성자가 포함된 다중 기하도구 모델은 2D 생성자가 없는 직접 3D에서 2D로의 생성 대비 뛰어난 이미지 품질(최종 FID 33)을 달성했다.
• 기하학적 일관성 손실은 깊이 및 외관 합성 향상에 기여했지만, FID 점수에 큰 양적 향상은 이끌지 못했다.
• 단일 기하도구 기반 베이스라인은 시점 변화에 따라 객체 정체성을 유지하지 못했으며, 다양한 카메라 각도에서 객체 수가 일관되지 않았다.
• 모델은 비지도 학습을 통해 객체 자세와 시점과 같은 3D 요소들을 성공적으로 분리시켜, 제어 가능한 일관성 있는 이미지 합성을 가능하게 했다.
• 실패 사례로는 단일 기하도구에서 임의의 객체 생성 및 큰 시점 변화에서 정체성 붕괴가 관찰되어 더 강력한 인도크티브 바이어스가 필요함을 시사한다.