[논문 리뷰] Perspective Transformer Nets: Learning Single-View 3D Object Reconstruction without 3D Supervision

Xinchen Yan, Shuicheng Yan외 3명|arXiv (Cornell University)|2016. 12. 01.

Advanced Vision and Imaging인용 수 316

한 줄 요약

논문은 단일 이미지에서 실루엣 기반 프로젝션 손실을 사용해 3D 볼륨을 재구성하는 Perspective Transformer Nets(PTN)를 소개하여 ground-truth 3D 볼륨 없이 학습을 가능하게 하며 다중 클래스 일반화를 가능하게 한다.

ABSTRACT

Understanding the 3D world is a fundamental problem in computer vision. However, learning a good representation of 3D objects is still an open problem due to the high dimensionality of the data and many factors of variation involved. In this work, we investigate the task of single-view 3D object reconstruction from a learning agent's perspective. We formulate the learning process as an interaction between 3D and 2D representations and propose an encoder-decoder network with a novel projection loss defined by the perspective transformation. More importantly, the projection loss enables the unsupervised learning using 2D observation without explicit 3D supervision. We demonstrate the ability of the model in generating 3D volume from a single 2D image with three sets of experiments: (1) learning from single-class objects; (2) learning from multi-class objects and (3) testing on novel object classes. Results show superior performance and better generalization ability for 3D object reconstruction when the projection loss is involved.

연구 동기 및 목표

• 단일 2D 이미지에서 3D 물체 표현을 학습하는 동기를 부여하고 고유한 형상과 외적 시점/조명을 구분한다.
• 명시적 3D 그라운드 트루스 없이 3D 재구성을 감독하기 위해 시점 변환 기반 프로젝션 손실을 갖춘 인코더-디코더 아키텍처를 제안한다.
• 단일 및 다중 객체 카테고리에서 학습을 입증하고 보지 못한 카테고리로의 일반화를 평가한다.
• 전체 방위각 뷰와 비교하여 부분 뷰로 학습했을 때의 접근법의 강건성을 보여준다.

제안 방법

• 2D 이미지를 3D 보셀 볼륨으로 매핑하는 인코더-디코더 네트워크를 사용한다.
• 예측된 볼륨을 2D 실루엣으로 미분 가능한 원근 투영을 수행하는 Perspective Transformer Networks를 도입한다.
• 투영된 실루엣과 ground-truth 실루엣 간의 평균 제곱 오차로서의 프로젝션 손실을 다중 뷰에 걸쳐 정의한다.
• 프로젝션 손실과 볼륨 손실의 가중치를 맞춘 결합 손실을 통해 선택적 체적 감독을 포함한 공동 학습을 허용한다.
• 퍼스펙티브 트랜스포머로 볼륨 디코더를 학습하기 전에 뷰 불변 잠재 표현을 학습하도록 인코더를 사전 학습한다.

실험 결과

연구 질문

• RQ1 실루엣 기반의 프로젝션 손실을 사용하여 ground-truth 3D 볼륨 없이 단일 2D 뷰에서 3D 형상을 재구성할 수 있는가?
• RQ2 다중 클래스 PTN이 unseen 카테고리에 대해 볼륨 감독 또는 단일 뷰 방식보다 일반화하는가?
• RQ3 다양한 객체 카테고리에서 전체 3D 감독 없이 프로젝션 손실만으로 학습하는 것과 전체 3D 감독으로 학습하는 것을 어떻게 비교되는가?
• RQ4 부분 뷰를 사용한 학습이 단일 뷰 3D 재구성 성능에 미치는 영향은 무엇인가?
• RQ5 프로젝션 정규화를 도입하면 새로운 시점에 대한 강건성과 일반화가 향상되는가?

주요 결과

• 프로젝션 손실만으로 학습된 모델(PTN-Proj)은 3D 감독 없이 3D 형상을 재구성할 수 있으며, 예를 들어 의자 카테고리에서 PTN-Proj IU는 0.5712(GT 310)와 0.5027(GT 130)이다.
• 결합 손실(PTN-Comb)은 다중 클래스 설정에서 일반적으로 볼륨 전용 학습보다 성능이 더 강력하며, 예를 들어 의자 결과는 0.6435(GT 310)와 0.5067(GT 130)이다.
• 볼륨 전용 CNN-Vol은 단일 카테고리 실험에서 의자에서 0.6390(GT 310)과 0.4983(GT 130)을 달성하여, 일부 경우 프로젝션 기반 방법과 유사한 성능을 보인다.
• 다중 클래스 실험에서 PTN-Proj 및 PTN-Comb은 여러 카테고리에서 CNN-Vol보다 우수하거나 일치하는 성능을 보이며(예: 비행기, 벤치, 서랍장, 자동차, 의자, 디스플레이, 램프, 스피커, 소총, 소파, 탁자, 전화기, 용기) 카테고리별 IU 점수가 보고된다.
• 범주 외/generalization: 여러 카테고리에서 학습하면 unseen 카테고리에 대한 일반화가 단일 카테고리 학습보다 향상되며, 프로젝션 손실은 새로운 모양(예: 침대, 책장, 수납장, 오토바이, 기차)에 대한 강건성을 돕는다.