[논문 리뷰] Unsupervised 3D Reconstruction from a Single Image via Adversarial Learning

Lingjing Wang, Yi Fang|arXiv (Cornell University)|2017. 11. 26.

Advanced Vision and Imaging참고 문헌 19인용 수 10

한 줄 요약

이 논문은 쌍화된 실세계 이미지-3D 모델 레이블이 필요 없이 단일 2D 이미지에서 비지도 학습을 통한 3차원 재구성 프레임워크를 제안한다. 합성 이미지와 실세계 이미지 도메인을 공통 잠재 공간에서 정렬하기 위해 적대적 오토인코더를 훈련시키고, 3D 역확산 네트워크를 동시에 최적화함으로써, 인간 스케치와 같은 새로운 스타일에 대해서도 강력한 3차원 볼륨 생성을 달성한다. 의자 카테고리에서 Pascal 3D+ 데이터셋에서 0.241의 IoU를 기록한다.

ABSTRACT

Recent advancements in deep learning opened new opportunities for learning a high-quality 3D model from a single 2D image given sufficient training on large-scale data sets. However, the significant imbalance between available amount of images and 3D models, and the limited availability of labeled 2D image data (i.e. manually annotated pairs between images and their corresponding 3D models), severely impacts the training of most supervised deep learning methods in practice. In this paper, driven by a novel design of adversarial networks, we have developed an unsupervised learning paradigm to reconstruct 3D models from a single 2D image, which is free of manually annotated pairwise input image and its associated 3D model. Particularly, the paradigm begins with training an adaption network via autoencoder with adversarial loss, which embeds unpaired 2D synthesized image domain with real world image domain to a shared latent vector space. Then, we jointly train a 3D deconvolutional network to transform the latent vector space to the 3D object space together with the embedding process. Our experiments verify our network's robust and superior performance in handling 3D volumetric object generation from a single 2D image.

연구 동기 및 목표

• 레이블이 부족하거나 존재하지 않는 단일 2D 이미지에서의 3차원 재구성 문제를 해결한다.
• 합성 훈련 데이터와 실세계 테스트 데이터 간의 도메인 차이(예: 인간 스케치)를 극복한다.
• 쌍화된 지도 학습이 필요 없이 다양한 이미지 스타일로 일반화 가능한 비지도 프레임워크를 개발한다.
• 실세계 입력(예: 스케치)에서 지도 레이블이 없는 3차원 오브제 생성을 가능하게 한다.
• 쌍화되지 않은 이미지 및 3차원 데이터만을 사용하여 강력하고 고품질의 3차원 볼륨 재구성 성능을 달성한다.

제안 방법

• 쌍화되지 않은 실세계 이미지와 합성 이미지를 동일한 잠재 벡터 공간에 매핑하기 위해 적대적 오토인코더를 훈련시켜 도메인 적응을 달성한다.
• 공통 잠재 공간에서 직접 3차원 볼륨 오브제를 생성하기 위해 3D 역확산 네트워크를 사용한다.
• 적대적 손실을 통해 오토인코더와 3D 생성 네트워크를 동시에 최적화하여 특징의 분리성과 재구성 정확도를 향상시킨다.
• 사이클 일관성과 적대적 훈련을 활용해 쌍화되지 않은 데이터로도 실세계 이미지와 합성 이미지의 잠재 공간을 정렬한다.
• 훈련된 모델을 실세계 이미지(예: 인간 스케치 포함)에 대해 제로샷 추론에 적용하며, 추가 튜닝 없이도 성능을 유지한다.
• 콘텐츠와 스타일을 분리하는 잠재 공간을 활용해 미리 보지 않은 이미지 도메인으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 쌍화된 실세계 이미지-3D 모델 지도 데이터 없이도 단일 2D 이미지에서 3차원 재구성을 달성할 수 있는가?
• RQ2 합성 훈련 데이터와 실세계 테스트 데이터(예: 스케치) 간의 도메인 차이를 3차원 생성 과정에서 효과적으로 완화할 수 있는가?
• RQ3 적대적 학습을 통해 실세계 이미지 도메인과 합성 이미지 도메인 간의 분리된 공통 잠재 표현을 3차원 생성에 활용할 수 있는가?
• RQ4 지상 진술 3D 레이블이 없는 인간 스케치와 같은 새로운 이미지 스타일로 모델이 얼마나 잘 일반화되는가?
• RQ5 제안된 비지도 프레임워크가 실세계, 도메인 외부 테스트 데이터에서 지도 기반 베이스라인을 능가하는가?

주요 결과

• 의자 카테고리에서 Pascal 3D+ 데이터셋에서 0.241의 IoU를 기록하여, 적응 없이도 기반 2D-3D 네트워크보다 유의미하게 높은 성능(0.153 IoU)을 달성한다.
• 의자 카테고리에서 3D-R2N2와 같은 지도 학습 방법과 유사하거나 더 뛰어난 성능을 내지만, 레이블이 전혀 없는 상태에서 수행된다.
• 인간 스케치에 대해 효과적으로 일반화되며, 80개의 스케치 샘플 중 약 15% 이하의 실패율로 3차원 모델을 재구성한다.
• 대부분의 경우 일반적인 형태와 핵심 구조적 특징(예: 팔, 다리)을 잘 포착하지만, 고유한 뒷면 디자인과 같은 세부 사항은 자주 손실된다.
• 제거 실험 결과, 적대적 도메인 정렬을 통한 임베딩 과정이 핵심임을 확인하였으며, 이를 생략할 경우 실세계 데이터에서 성능이 급격히 떨어진다.
• 이 방법은 이전까지 3D 레이블이 없어 탐색되지 않았던 인간 스케치에서 3차원 오브제 예측을 가능하게 하여 제로샷 3차원 생성의 가능성과 실현 가능성을 입증한다.