[논문 리뷰] Unsupervised multi-modal Styled Content Generation

Omry Sendik, Dani Lischinski외 1명|arXiv (Cornell University)|2020. 01. 10.

Natural Language Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중 모달 데이터 분포에서 다수의 잠재 모드를 학습하기 위해 K개의 학습된 루트 상수를 도입함으로써, 새로운 비지도 생성 모델인 uMM-GAN을 제안한다. 이는 모드(예: 동물 종류)와 스타일(예: 털 색상) 간의 분리된 제어를 가능하게 한다. 기존 GAN 기반 모델 대비 분포 근사 및 FID 점수 향상을 이룬다. 특히 K가 진짜 모드 수와 같거나 초과할 경우 성능 향상이 두드러진다.

ABSTRACT

The emergence of deep generative models has recently enabled the automatic generation of massive amounts of graphical content, both in 2D and in 3D. Generative Adversarial Networks (GANs) and style control mechanisms, such as Adaptive Instance Normalization (AdaIN), have proved particularly effective in this context, culminating in the state-of-the-art StyleGAN architecture. While such models are able to learn diverse distributions, provided a sufficiently large training set, they are not well-suited for scenarios where the distribution of the training data exhibits a multi-modal behavior. In such cases, reshaping a uniform or normal distribution over the latent space into a complex multi-modal distribution in the data domain is challenging, and the generator might fail to sample the target distribution well. Furthermore, existing unsupervised generative models are not able to control the mode of the generated samples independently of the other visual attributes, despite the fact that they are typically disentangled in the training data. In this paper, we introduce UMMGAN, a novel architecture designed to better model multi-modal distributions, in an unsupervised fashion. Building upon the StyleGAN architecture, our network learns multiple modes, in a completely unsupervised manner, and combines them using a set of learned weights. We demonstrate that this approach is capable of effectively approximating a complex distribution as a superposition of multiple simple ones. We further show that UMMGAN effectively disentangles between modes and style, thereby providing an independent degree of control over the generated content.

연구 동기 및 목표

• 기존 GAN 모델이 비지도에서 다중 모달 데이터 분포를 모델링하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 생성 샘플의 모드(예: 고양이 vs. 강아지)를 스타일 속성과 별개로 독립적으로 제어할 수 있도록 하기 위해.
• 복잡한 데이터 분포를 K개의 더 단순한 학습된 모드의 초월으로 근사함으로써 생성 샘플의 정확도와 다양성을 향상시키기 위해.
• 다수의 루트 상수를 통한 비지도 모드 발견이 단일 루트 GAN보다 더 나은 분포 근사 결과를 이끌어내는지 입증하기 위해.

제안 방법

• 모델는 단일 학습 상수를 K개의 서로 다른 루트 상수로 대체함으로써 StyleGAN을 확장한다. 각 상수는 데이터 분포 내 특정 모드의 시드 역할을 한다.
• 모든 생성 샘플은 K개의 모드별 특징에 대한 가중 혼합으로 구성되며, 가중치는 학습 과정에서 함께 학습된다.
• 생성기에서는 AdaIN을 사용해 스타일 제어를 수행하고, K개의 루트 상수를 통해 모드 선택을 분리함으로써 모드와 스타일을 독립적으로 조작할 수 있다.
• 모델는 분류 레이블이나 애너테이션 없이도 적대적 손실을 사용해 엔드 투 엔드로 훈련된다.
• 모드 수 K는 하이퍼파라미터이며, 모델은 데이터 분포에 따라 샘플을 가장 관련성이 높은 모드에 할당하도록 학습한다.
• 각 루트가 고유한 고수준 콘텐츠 특징(예: 종, 물체 자세)을 포착하도록 유도함으로써, 모드 분리가 암묵적으로 학습된다.

실험 결과

연구 질문

• RQ1 비지도 GAN 아키텍처가 분류 애너테이션 없이 다중 모달 데이터 분포를 효과적으로 모델링할 수 있는가?
• RQ2 K개의 루트 상수를 통한 다수의 잠재 모드 학습이 단일 루트 GAN보다 분포 근사 성능을 향상시키는가?
• RQ3 생성 모델에서 모드와 스타일을 효과적으로 분리 제어할 수 있는가? 이는 고수준 콘텐츠와 시각적 외관을 별개로 제어할 수 있음을 의미한다.
• RQ4 학습된 모드 수 K가 FID 점수로 측정된 생성 샘플 품질에 어떤 영향을 미치는가?
• RQ5 이 모델은 복잡한 실제 세계의 다중 모달 분포를 가진 자연 이미지 데이터셋에 일반화되는가?

주요 결과

• uMM-GAN은 다중 모달 데이터셋에서 기준 모델인 StyleGAN보다 유의미하게 낮은 FID 점수를 기록한다. 3개의 클래스로 구성된 데이터셋에서 K를 2에서 3으로 늘릴 경우, FID 점수는 최대 1.47점 향상된다.
• 고양이와 강아지 데이터셋에서 FID 점수는 K=1일 때 126.90에서 K=16일 때 103.49로 감소하여 K가 증가할수록 일관되게 향상됨을 보였다.
• 자동차와 침실 데이터셋에서 FID 점수는 각각 K=1일 때 167.22에서 K=16일 때 145.54로, 그리고 189.53에서 157.01로 감소하여, 복잡한 자연 이미지에서도 효과적임을 입증했다.
• 모드를 변경하면서도 스타일 파rameter를 동일하게 유지한 샘플을 통해, 모드와 스타일이 성공적으로 분리되었음을 확인할 수 있었으며, 털 색상과 무늬 같은 시각적 특징이 유지되었다.
• K ≥ N(진짜 모드 수)일 때 성능이 최고로 나타나며, K ≫ N일 경우 성능 향상의 효과가 점점 줄어들어, 모드 용량에 대한 상충 관계가 있음을 시사한다.
• 모델은 합성 데이터(문자)부터 실제 세계 데이터(동물, 자동차, 실내)에 이르기까지 다양한 데이터셋에서 잘 일반화되어 있어, 데이터 복잡성에 대해 강건함을 보였다.