[논문 리뷰] Learning to Generate Chairs with Convolutional Neural Networks

Alexey Dosovitskiy, Jost Tobias Springenberg외 1명|arXiv (Cornell University)|2014. 11. 21.

Face recognition and analysis인용 수 13

한 줄 요약

이 논문은 渲染된 3D 의자 모델에 기반해 훈련된 지도 학습 기반의 생성적 컨볼루션 신경망을 제안하며, 물체 유형, 시점, 색상에 따라 새로운 의자 이미지를 생성한다. 모델은 의미 있는 3D 유사 표현을 학습하여 시점 간 보간, 훈련 데이터에 존재하지 않는 새로운 의자 스타일의 제로샷 생성, 기존 방법보다 향상된 의자 간 대응 매칭을 가능하게 한다.

ABSTRACT

We train a generative convolutional neural network which is able to generate images of objects given object type, viewpoint, and color. We train the network in a su-pervised manner on a dataset of rendered 3D chair mod-els. Our experiments show that the network does not merely learn all images by heart, but rather finds a meaningful representation of a 3D chair model allowing it to assess the similarity of different chairs, interpolate between given viewpoints to generate the missing ones, or invent new chair styles by interpolating between chairs from the training set. We show that the network can be used to find correspon-dences between different chairs from the dataset, outper-forming existing approaches on this task. 1.

연구 동기 및 목표

• 시점 및 색상과 같은 조건 입력에서 현실적인 의자 이미지를 합성하는 딥 생성 모델을 개발하는 것.
• 훈련 이미지의 단순 암기 외에 일반화할 수 있도록 3D 의자 기하학의 분리된 의미 있는 표현을 학습하는 것.
• 모델이 훈련 데이터에 존재하지 않는 시점 간 보간 및 새로운 의자 스타일 생성 능력을 입증하는 것.
• 기존 방법보다 우수한 성능을 보이는 의자 간 대응 매칭 성능 평가

제안 방법

• 대규모 렌더링된 2D 의자 모델 이미지 데이터셋을 기반으로 지도 학습 방식으로 컨볼루션 신경망을 훈련한다.
• 모델은 물체 유형, 시점(아자이무스, 엘레베이션), 색상 등을 지정하는 조건부 임bedding을 입력으로 받아 해당하는 이미지를 생성한다.
• 의자 구조 및 외관 요소를 포괄하는 분리된 잠재 표현을 학습함으로써 시점 및 스타일 간 보간이 가능해진다.
• 학습된 표현에서 고해상도 이미지를 생성하기 위해 디컨볼루션 레이어를 활용한다.
• 정답 렌더링 이미지에 대한 픽셀 단위 재구성 손실을 사용하여 정확도를 확보한다.
• 모델 내부 표현을 분석하여 제로샷 생성 및 대응 매칭 지원 능력을 평가한다.

실험 결과

연구 질문

• RQ1 2D 렌더링된 3D 의자 이미지에 기반해 훈련된 CNN이 단순한 훈련 데이터 암기 외에 의미 있는 3D 유사 표현을 학습할 수 있는가?
• RQ2 모델은 훈련 데이터에 존재하지 않는 시점 간 보간을 통해 현실적인 중간 의자 시점을 생성할 수 있는가?
• RQ3 잠재 공간 내에서 서로 다른 의자 간 보간을 통해 새로운 의자 스타일을 생성할 수 있는가?
• RQ4 학습된 표현은 기존 방법보다 의자 간 대응 매칭 성능을 향상시키는가?

주요 결과

• 모델은 시각적으로 타당한 현실적인 의자 이미지를 생성하며, 훈련 데이터 암기 외 일반화를 보여주어 의미 있는 3D 유사 표현을 학습한 것으로 나타났다.
• 모델은 시점 간 보간을 성공적으로 수행하여 훈련 데이터에 존재하지 않는 일관된 중간 시점을 생성한다.
• 잠재 공간 내에서 서로 다른 의자 간 보간을 통해 새로운 의자 스타일을 생성함으로써 창의적 일반화 능력을 입증한다.
• 학습된 표현은 이전 최첨단 방법보다 다양한 의자 간 더 정확한 대응 매칭을 가능하게 한다.