[논문 리뷰] Multimodal Controller for Generative Models

Enmao Diao, Jie Ding외 1명|arXiv (Cornell University)|2020. 02. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 학습 파rameter를 추가하지 않고도 비조건부 생성 모델(VAE, PixelCNN, Glow, GAN)이 고품질의 조건부 이미지를 생성할 수 있도록 해주는 플러그 앤 플레이 다중모달 컨트롤러(MC)를 제안한다. MC는 각 데이터 모달리티에 고유하고 균일하게 샘플링된 서브넷워크를 할당하여 생성 품질을 향상시키고, 재샘플링을 통해 기존에 학습되지 않은 새로운 데이터 모달리티를 생성할 수 있다. 이는 CIFAR10, COIL100, Omniglot에서 조건부 기준 모델을 능가한다.

ABSTRACT

Class-conditional generative models are crucial tools for data generation from user-specified class labels. Existing approaches for class-conditional generative models require nontrivial modifications of backbone generative architectures to model conditional information fed into the model. This paper introduces a plug-and-play module named `multimodal controller' to generate multimodal data without introducing additional learning parameters. In the absence of the controllers, our model reduces to non-conditional generative models. We test the efficacy of multimodal controllers on CIFAR10, COIL100, and Omniglot benchmark datasets. We demonstrate that multimodal controlled generative models (including VAE, PixelCNN, Glow, and GAN) can generate class-conditional images of significantly better quality when compared with conditional generative models. Moreover, we show that multimodal controlled models can also create novel modalities of images.

연구 동기 및 목표

• 비조건부 생성 모델을 조건부 모델로 변환할 수 있는 일반적이고 파rameter가 없는 방법을 개발하는 것.
• 기존 조건부 모델이 조건부 임bedding을 위해 추가 학습 파rameter가 필요하다는 한계를 해결하는 것.
• 재샘플링된 서브넷워크를 통해 학습 중에 나타나지 않은 새로운 데이터 모달리티를 생성할 수 있도록 하는 것.
• Omniglot과 COIL100처럼 내부 클래스 변동성이 높고 다양한 모달리티를 포함한 데이터셋에서 뛰어난 성능을 보여주는 것.
• VAE, PixelCNN, Glow, GAN 등 다양한 백본 아키텍처 간에서 확장 가능하고 호환성이 높은 솔루션을 제공하는 것.

제안 방법

• 다중모달 컨트롤러(MC)는 비모수적이고 플러그 앤 플레이 성격의 모듈로, 생성 모델의 각 레이어에 삽입된다.
• 각 데이터 모달리티는 코드북에서 고유하고 균일하게 샘플링된 서브넷워크에 할당되며, 추가로 학습 가능한 파rameter가 없다.
• 모델는 클래스 레이블에 따라 입력을 해당 서브넷워크를 통해 라우팅함으로써, 각 모달리티별로 전용 계산 경로를 효과적으로 생성한다.
• 서브넷워크는 메인 네트워크의 가중치 위에 이진 마스크로 구현되어 재학습 없이도 동적 라우팅이 가능하다.
• 새로운 데이터 모달리티는 코드북 항목을 균일하게 재샘플링하여 생성되며, 학습 중에 존재하지 않는 새로운 서브넷워크를 생성한다.
• MC를 각 레이어에 적용함으로써, VAE, PixelCNN, Glow, GAN 등 다양한 백본 모델과 호환 가능하다.

실험 결과

연구 질문

• RQ1 파rameter가 없는 컨트롤러를 사용해 비조건부 생성 모델에서 조건부 이미지 생성을 가능하게 할 수 있는가?
• RQ2 다양한 모달리티를 포함한 데이터셋에서 표준 조건부 모델에 비해 다중모달 컨트롤러가 이미지 품질과 다양성 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ3 다중모달 컨트롤러는 학습 데이터에 존재하지 않는 고해상도의 새로운 데이터 모달리티를 생성할 수 있는가?
• RQ4 다양한 백본 아키텍처(VAE, PixelCNN, Glow, GAN) 간에서 다중모달 컨트롤러의 성능이 안정적인가?
• RQ5 새로운 모달리티 생성 시 생성된 이미지의 클러스터링 품질은 MC와 표준 조건부 모델 간에 어떻게 비교되는가?

주요 결과

• CIFAR10, COIL100, Omniglot에서 MCGAN, MCVAE, MCPixelCNN, MCGlow와 같은 다중모달 컨트롤러가 적용된 생성 모델은 조건부 기반 모델 대비 유의미하게 낮은 FID 점수를 기록했다.
• COIL100 데이터셋에서 MCGAN은 다양한 물체 회전 모드를 성공적으로 생성했지만, CGAN은 모든 회전 모드에서 일관된 결과를 내지 못했다.
• Omniglot 데이터셋에서 MCGAN은 내부 클래스 변동성과 클래스 간 구분을 잘 유지했지만, CGAN은 일부 데이터 모달리티를 생성하지 못했다.
• CIFAR10에서 MCGAN의 새로운 모달리티 생성에 대한 Davies-Bouldin Index(DBI)는 2.0(±0.30)이었고, CGAN은 33.2(±3.46)였으며, 이는 더 타이트한 클러스터링과 더 적은 편향을 가진 새로운 모달리티 생성을 의미한다.
• COIL100에서 MC 방법은 새로운 모달리티 생성에 대해 DBI 1.5(±0.07)을 기록했고, Omniglot에서는 3.6(±0.02)를 기록했으며, 이는 조건부 기준 모델보다 유의미하게 낮아 더 나은 클러스터링과 품질을 확인한다.
• 정성적 결과에서는 MC 코드북에서 재샘플링된 서브넷워크가 학습 중에 보이지 않은 고해상도의 다양하고 현실적인 새로운 데이터 모달리티를 생성할 수 있음을 보여주었다.