[논문 리뷰] Perspective Transformer Nets: Learning Single-View 3D Object Reconstruction without 3D Supervision

Xinchen Yan, Shuicheng Yan외 3명|arXiv (Cornell University)|2016. 12. 01.

Advanced Vision and Imaging인용 수 311

한 줄 요약

이 논문은 ground-truth 3D 형태를 필요로 하지 않고 단일 2D 뷰로부터 3D 부피를 재구성하기 위해 perspective-projection 손실을 가진 인코더-디코더 네트워크를 학습하고, 범주 간 일반화가 좋음을 보인다.

ABSTRACT

Understanding the 3D world is a fundamental problem in computer vision. However, learning a good representation of 3D objects is still an open problem due to the high dimensionality of the data and many factors of variation involved. In this work, we investigate the task of single-view 3D object reconstruction from a learning agent's perspective. We formulate the learning process as an interaction between 3D and 2D representations and propose an encoder-decoder network with a novel projection loss defined by the perspective transformation. More importantly, the projection loss enables the unsupervised learning using 2D observation without explicit 3D supervision. We demonstrate the ability of the model in generating 3D volume from a single 2D image with three sets of experiments: (1) learning from single-class objects; (2) learning from multi-class objects and (3) testing on novel object classes. Results show superior performance and better generalization ability for 3D object reconstruction when the projection loss is involved.

연구 동기 및 목표

• 명시적 3D 감독 없이 단일 뷰 3D 객체 재구성을 동기 부여하고 해결한다.
• 원근-변환 기반 프로젝션 손실을 갖는 인코더-디코더 아키텍처를 개발한다.
• 뷰에 독립적인 잠재 표현을 학습하여 모양과 시점을 해리한다.
• 여러 범주와 보지 못한 물체에 대한 일반화 가능성을 보여준다.

제안 방법

• 2D 이미지를 뷰에 불변한 잠재 표현으로 인코딩한다.
• 3D 업-컨볼루션 디코더를 사용하여 3D 보셀 부피로 디코딩한다.
• 여러 시점에서 3D 부피를 2D 실루엣으로 투영하기 위해 perspective transformer를 사용한다.
• 투영된 실루엣과 ground-truth 2D 실루엣 간 정렬을 강제하는 프로젝션 손실을 최적화한다.
• 3D 감독이 가능할 때 프로젝션 손실과 체적 손실을 결합할 수 있다.
• 3D 재구성을 규칙화하기 위해 여러 각도에서의 시야로 학습한다.

실험 결과

연구 질문

• RQ1 2D 실루엣 프로젝션 손실을 사용하여 ground-truth 부피 없이 단일 뷰에서 3D 모양을 학습할 수 있는가?
• RQ2 프로젝션 기반 정규화가 단독 체적 감독보다 재구성 품질을 향상시키는가?
• RQ3 이 접근법이 다중 클래스 및 보지 못한 물체 범주에 얼마나 잘 일반화되는가?
• RQ4 부분적이거나 희박한 시야로 학습하는 것이 재구성 품질에 미치는 영향은 무엇인가?

주요 결과

모델(훈련 설정)	chair IU	chair-N IU
PTN-Proj:single (no vol. supervision)	0.5712	0.5027
PTN-Comb:single (vol. supervision)	0.6435	0.5067
CNN-Vol:single (vol. supervision)	0.6390	0.4983
NN search	—	0.3557

• 프로젝션 손실은 단일 뷰 이미지로부터 3D 모양의 비감독 학습을 가능하게 한다.
• 프로젝션 손실을 가진 모델은 여러 데이터셋에서 체적 감독 모델과 동등하거나 더 나은 성능을 보인다.
• 다중 클래스 학습은 단일 클래스 학습에 비해 보지 못한 범주에 대한 일반화를 향상시킨다.
• 프로젝션 규제는 부분적 뷰에서도 강건한 3D 재구성을 제공한다.
• 결합된 프로젝션 및 체적 손실은 많은 설정에서 일반적으로 체적만 훈련보다 우수하다.