[논문 리뷰] Multi-View Data Generation Without View Supervision

Mickaël Chen, Ludovic Denoyer외 1명|arXiv (Cornell University)|2017. 11. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 9

한 줄 요약

이 논문은 시각 수준의 감독 없이 다중 시점 데이터에서 콘텐츠 요소와 시점 요소를 분리하는 생성 적대적 모델(GMV)과 그 조건부 변형(C-GMV)을 제안한다. 이는 어떤 콘텐츠에 대해서도 높은 다양성과 현실성 있는 새로운 시점을 생성할 수 있도록 한다. 모델은 동일한 콘텐츠의 쌍체 다중 시점 샘플에 대해 적대적 훈련을 적용하여 분리된 잠재 공간을 학습하며, 시각 수준의 애너테이션 없이도 네 개의 이미지 데이터셋에서 시점 다양성과 샘플의 현실성 면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The development of high-dimensional generative models has recently gained a great surge of interest with the introduction of variational auto-encoders and generative adversarial neural networks. Different variants have been proposed where the underlying latent space is structured, for example, based on attributes describing the data to generate. We focus on a particular problem where one aims at generating samples corresponding to a number of objects under various views. We assume that the distribution of the data is driven by two independent latent factors: the content, which represents the intrinsic features of an object, and the view, which stands for the settings of a particular observation of that object. Therefore, we propose a generative model and a conditional variant built on such a disentangled latent space. This approach allows us to generate realistic samples corresponding to various objects in a high variety of views. Unlike many multi-view approaches, our model doesn't need any supervision on the views but only on the content. Compared to other conditional generation approaches that are mostly based on binary or categorical attributes, we make no such assumption about the factors of variations. Our model can be used on problems with a huge, potentially infinite, number of categories. We experiment it on four image datasets on which we demonstrate the effectiveness of the model and its ability to generalize.

연구 동기 및 목표

• 시각 수준의 애너테이션 없이 다중 시점 데이터에서 콘텐츠 요소와 시점 요소를 분리된 방식으로 학습하는 생성 모델을 개발하는 것.
• 지속적 또는 무한한 시점 변화가 있는 경우에도, 어떤 주어진 콘텐츠에 대해 높은 다양성과 현실성 있는 새로운 시점을 생성할 수 있도록 하는 것.
• 단일 입력 이미지에서 시각 감독 없이 다수의 시점을 생성할 수 있는 조건부 설정으로 모델을 확장하는 것.
• 기존 모델이 이산적이고 레이블이 부여된 시점 속성에 의존하거나 시각 감독이 필요로 하는 한계를 극복하는 것.
• 제한적 또는 전혀 시각 애너테이션이 없는 실제 이미지 데이터셋에서의 일반화 능력과 현실성의 증명

제안 방법

• 모델은 동일한 콘텐츠에서 유래한 다중 시점 샘플 쌍에 대해 훈련되는 생성 적대적 네트워크(GAN) 프레임워크를 사용하며, 명시적인 시점 레이블 없이도 작동한다.
• 콘텐츠와 시점이 별개로 독립된 벡터로 표현되는 분리된 잠재 공간이 학습된다.
• 생성된 이미지 쌍에 대해 적대적 훈련이 적용되어 높은 시각적 품질과 현실성을 확보한다.
• 모델은 실제 다중 시점 쌍과 생성된 쌍을 구분하는 디스커미네이터를 사용하여 분포 모델링의 충실도를 높인다.
• 조건부 변형(C-GMV)의 경우, 분리된 콘텐츠 코드를 기반으로 단일 입력 이미지에서 다수의 시점을 생성한다.
• 훈련 목표는 적대적 손실과 재구성 손실을 조합하여 콘텐츠 정체성을 유지하면서도 시점 변화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 시각 수준의 감독 없이도 생성 모델이 다중 시점 데이터에서 콘텐츠 요소와 시점 요소를 분리된 방식으로 학습할 수 있는가?
• RQ2 지속적 또는 무한한 시점 변화가 있는 경우에도, 주어진 콘텐츠에 대해 다양하고 현실적인 시점을 생성할 수 있는가?
• RQ3 시점 다양성과 샘플 품질 측면에서, 감독 기반 또는 이산 속성 기반 접근법과 비교해 모델의 성능은 어떠한가?
• RQ4 조건부 변형은 시각 애너테이션 없이도 단일 입력 이미지에서 다수의 현실적인 시점을 생성할 수 있는가?
• RQ5 다양한 시점 분포와 콘텐츠 복잡도를 가진 다양한 데이터셋 간에 모델이 잘 일반화되는가?

주요 결과

• 제안된 GMV 및 C-GMV 모델은 시각 애너테이션 없이도 매우 현실적인 샘플을 생성하며, 높은 시점 다양성을 보인다.
• 기본 모델 대비 다수의 시점을 생성하는 데서 뛰어난 성능을 보이며, 특히 얼굴 시점과 표정의 범위가 넓은 CelebA 데이터셋에서 뛰어난 성능을 보인다.
• 조건부 변형(C-GMV)은 단일 입력 이미지에서 다수의 새로운 시점을 성공적으로 생성하여 강력한 일반화 능력과 분리 능력을 입증한다.
• 이산 속성에 의존하지 않아도 되므로 지속적이고 잠재적으로 무한한 시점 변화를 가능하게 하여 고품질의 생성을 달성한다.
• 네 개의 이미지 데이터셋에서의 실험을 통해 모델이 분리된 표현을 학습하고 다양한 시점 환경에서 시각적으로 타당한 샘플을 생성할 수 있음을 확인했다.
• 소수의 샘플 또는 한 개의 샘플만 있는 학습 환경과 같은 저자료 환경에서 데이터 증강에 강력한 잠재력을 보였다.