[논문 리뷰] Unsupervised Learning of 3D Structure from Images

Danilo Jimenez Rezende, S. M. Ali Eslami외 4명|arXiv (Cornell University)|2016. 07. 03.

Advanced Vision and Imaging참고 문헌 32인용 수 97

한 줄 요약

이 논문은 2D 이미지에서 다양한 가시성 렌더링과 엔드 투 엔드 훈련을 사용하여 3D 구조를 비지도로 학습하는 딥 생성 모델을 제안한다. 이 모델은 ShapeNet과 MNIST3D에서 최고 수준의 로그우도를 달성하며, 3D 지도 데이터 없이도 단일 또는 다중 시야에서 다중 모odal 3D 재구성을 가능하게 한다.

ABSTRACT

A key goal of computer vision is to recover the underlying 3D structure from 2D observations of the world. In this paper we learn strong deep generative models of 3D structures, and recover these structures from 3D and 2D images via probabilistic inference. We demonstrate high-quality samples and report log-likelihoods on several datasets, including ShapeNet [2], and establish the first benchmarks in the literature. We also show how these models and their inference networks can be trained end-to-end from 2D images. This demonstrates for the first time the feasibility of learning to infer 3D representations of the world in a purely unsupervised manner.

연구 동기 및 목표

• 지상 진짜 3D 애너테이션 없이 2D 이미지에서 직접 물체의 3D 표현을 학습하기 위해.
• 합리적인 3D 구조의 통계 모델을 학습하여 3D 재구성 문제의 불완전한 성격을 해결하기 위해.
• 2D 관측치로부터 3D 구조에 대한 확률적 추론을 가능하게 하여 다중 모달성과 불확실성을 포괄하기 위해.
• 오직 2D 이미지와 다양한 가시성 렌더링을 사용하여 3D 생성 모델과 추론 네트워크의 엔드 투 엔드 훈련을 보여주기 위해.
• ShapeNet과 MNIST3D에서 로그우도를 사용한 3D 밀도 모델링을 위한 첫 번째 정량 기준 설정하기 위해.

제안 방법

• DRAW 및 기타 정규화 플로우에 영감을 받은 잠재변수 모델을 사용하여 부피격자 및 메시 기반 3D 구조의 딥 생성 모델을 학습한다.
• 3D 표현을 2D 이미지 관측치로 매핑하기 위해 다양한 가시성 신경망 렌더러(예: OpenGL 기반)를 사용하여 렌더링 과정을 통해 역전파가 가능하도록 한다.
• 이미지 관측치에 조건을 두어 3D 구조를 추론하기 위해 조건부 훈련을 수행하며, 재구성 최적화를 위해 모델을 최적화한다.
• 3D 지도 데이터 없이 오직 2D 이미지만을 사용하여 생성 모델과 추론 네트워크를 엔드 투 엔드 방식으로 공동 훈련한다.
• 부피형 및 메시 기반 3D 표현을 모두 지원하며, 메시는 중심에서 고정된 선을 따라 이동하는 정점으로 매개변수화된다.
• 실제 조명과 재질 상호작용을 모델링하기 위해 시장에서 구할 수 있는 렌더링 엔진을 통합하여 생성된 2D 뷰의 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 지상 진짜 3D 레이블 없이도 순수하게 비지도 방식으로 2D 이미지에서 3D 구조를 추론할 수 있는가?
• RQ2 딥 생성 모델이 단일 2D 이미지로부터 3D 구조의 다중 모달 사후 분포를 얼마나 잘 포괄할 수 있는가?
• RQ3 이러한 모델이 ShapeNet과 MNIST3D와 같은 표준 3D 벤치마크 데이터셋에서 로그우도 측면에서 얼마나 우수한 성능을 보이는가?
• RQ4 다양한 가시성 렌더링이 오직 2D 이미지에서 3D 생성 모델의 엔드 투 엔드 훈련을 가능하게 하는가?
• RQ5 모델은 새로운 3D 시야를 얼마나 정확하게 재구성할 수 있는가? 이는 2D 재구성 초월하는 진정한 3D 이해를 보여주는가?

주요 결과

• 모델은 ShapeNet과 MNIST3D 양쪽에서 최고 수준의 로그우도 점수를 달성하며, 3D 밀도 모델링을 위한 첫 번째 정량 기준을 설정한다.
• 모델은 높은 품질의 다양성 있는 3D 샘플을 생성하여 데이터 분포의 다중 모달성, 즉 형태와 자세의 타당한 변형을 잘 포괄한다.
• 재구성된 3D 메시는 새로운 카메라 각도로 일반화되며, 입력 이미지에 보이지 않는 물체의 범위를 정확히 추론함으로써 진정한 3D 이해를 보여준다.
• 모델은 높은 정밀도로 2D 이미지를 재구성할 수 있으며, 단일 2D 뷰뿐 아니라 여러 2D 뷰로부터 일관된 3D 표현을 생성할 수 있다. 이는 오직 2D 데이터로만 훈련된 경우에도 가능하다.
• 다양한 가시성 렌더링을 통한 엔드 투 엔드 훈련은 단일 프로퍼그레이션 내에서 정확한 3D 추론을 가능하게 하며, 모델은 3D 구조의 불확실성과 모호성을 잘 포착한다.
• 이 방법은 오직 2D 이미지만을 사용하여 3D 표현을 성공적으로 학습하며, 3D 지도 없이도 비지도 3D 구조 추론의 가능성을 입증한다.