[논문 리뷰] Learning to Generate Chairs, Tables and Cars with Convolutional Networks

Alexey Dosovitskiy, Jost Tobias Springenberg외 2명|arXiv (Cornell University)|2014. 11. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 25

한 줄 요약

이 논문은 렌더링된 3D 모델을 기반으로 훈련된 생성형 업컨볼루션 신경망을 제안하며, 물체 스타일, 시점, 색상과 같은 고수준 제어를 통해 의자, 테이블, 자동차의 현실적인 2D 이미지를 합성하는 데 목적이 있다. 네트워크는 기억 초월 일반화를 가능하게 하여 보간, 외삽, 그리고 새로운 물체 생성을 가능하게 하며, 동시에 물체 간 대응 매칭을 향상시킨다.

ABSTRACT

We train generative 'up-convolutional' neural networks which are able to generate images of objects given object style, viewpoint, and color. We train the networks on rendered 3D models of chairs, tables, and cars. Our experiments show that the networks do not merely learn all images by heart, but rather find a meaningful representation of 3D models allowing them to assess the similarity of different models, interpolate between given views to generate the missing ones, extrapolate views, and invent new objects not present in the training set by recombining training instances, or even two different object classes. Moreover, we show that such generative networks can be used to find correspondences between different objects from the dataset, outperforming existing approaches on this task.

연구 동기 및 목표

• 의자, 테이블, 자동차와 같은 3D 물체의 현실적인 2D 이미지를 스타일, 시점, 색상과 같은 고수준 제어를 사용해 합성하는 생성 모델을 개발하는 것.
• 학습 예제를 암기하는 것 초월해 일반화할 수 있도록 신경망을 훈련시켜 보간, 외삽, 그리고 새로운 물체 생성을 가능하게 하는 것.
• 네트워크가 물체 클래스 간 지식 전이를 지원하는 의미 있는 3D 표현을 학습할 수 있는지 평가하는 것.
• 학습된 생성 모델을 실제 응용 과제인 서로 다른 물체 간 대응 매칭에 적용하여 기존 방법들을 능가하는 성능을 내는 것.

제안 방법

• 모델은 잠재 벡터와 고수준 제어(물체 클래스, 시점, 색상)를 2D RGB 이미지로 매핑하는 깊이 있는 업컨볼루션 신경망 아키텍처를 사용한다.
• 표준 역전파를 통해 생성된 이미지와 진짜 이미지 간의 L2 재구성 오차를 최소화함으로써 훈련이 수행된다.
• 의자, 테이블, 자동차의 다양한 시점과 색상으로 렌더링된 3D 모델로 구성된 대규모 데이터셋을 사용해 네트워크를 훈련시킨다.
• 훈련 중에 학습된 공유 특징 표현 덕분에, 명시적 교차 클래스 감독 없이도 클래스 간 지식 전이가 가능하다.
• 잠재 공간의 불확실성을 모델링하기 위해 변분 추론 프레임워크를 사용하며, 잠재 벡터에 정규 분포 사전 확률을 적용하고, 근사 추론을 위한 변분 후행 분포를 사용한다.
• 목적 함수는 재구성 오차와 KL 발산을 조합하여, 각 데이터 포인트당 한 개의 몬테카를로 샘플을 사용해 확률적 경사 하강법으로 최적화된다.

실험 결과

연구 질문

• RQ1 생성형 업컨볼루션 네트워크는 3D 모델의 2D 투영에서 의미 있는 3D 표현을 학습할 수 있는가? 이를 통해 암기 초월 일반화가 가능할까?
• RQ2 네트워크는 훈련 데이터에 없던 조합일지라도, 다양한 시점과 물체 스타일 간 보간을 얼마나 잘 수행할 수 있는가?
• RQ3 네트워크는 훈련 중에 볼 수 없었던 새로운 시점으로 외삽하거나, 훈련 세트에 없는 완전히 새로운 물체 디자인을 생성할 수 있는가?
• RQ4 학습된 특징은 물체 클래스 간 지식 전이를 지원할 수 있는가? 예를 들어, 테이블의 지식을 사용해 알려지지 않은 의자 시점을 생성할 수 있는가?
• RQ5 생성 모델은 기존 방법들을 능가하는 성능으로 서로 다른 물체 간 대응 매칭에 효과적으로 활용될 수 있는가?

주요 결과

• 네트워크는 암기 초월 일반화를 이루며, 알려지지 않은 시점과 물체 조합에 대해 신뢰할 수 있는 이미지를 생성함으로써 의미 있는 3D 인식 표현을 학습했다는 것을 보여준다.
• 모델은 클래스 내외의 다양한 물체 스타일 간 보간을 성공적으로 수행하여 유의미한 중간 시점의 이미지를 생성한다.
• 훈련 중에 볼 수 없었던 새로운 시점으로 외삽할 수 있어 기하학적 및 구조적 사전 지식을 학습했다는 것을 시사한다.
• 다른 훈련 인스턴스의 특징을 재조합함으로써, 의자-자동차 하이브리드와 같은 교차 클래스 조합까지 포함해 새로운 현실적인 물체 디자인을 생성할 수 있다.
• 학습된 특징은 물체 간 대응 매칭에서 뛰어난 성능을 내며, 동일한 과제에서 기존 접근 방식을 능가한다.
• 분리된 잠재 공간을 갖춘 변분 추론 프레임워크 덕분에 의미 있는 특징 산술이 가능하며, 벡터 덧셈과 뺄셈이 해석 가능한 이미지 공간의 변화를 유도한다.