[논문 리뷰] Controllable Generative Adversarial Network

Minhyeok Lee, Junhee Seok|arXiv (Cornell University)|2017. 08. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 11

한 줄 요약

이 논문은 특성 분류를 판별기에서 분리하여 생성된 이미지의 특성에 대해 세밀하고 상세한 제어가 가능한 새로운 GAN 아키텍처인 Controllable GAN (ControlGAN)을 제안한다. 별도의 특성 분류기 학습 후 생성기의 손실에 통합함으로써, ControlGAN은 주요 특성뿐만 아니라 미세한 특성까지 정밀하게 제어할 수 있으며, 훈련 중에 나타나지 않은 보간 및 외삽된 레이블까지도 처리할 수 있다. 이로 인해 고품질이고 다양한 샘플을 생성할 수 있다.

ABSTRACT

Recently introduced generative adversarial network (GAN) has been shown numerous promising results to generate realistic samples. The essential task of GAN is to control the features of samples generated from a random distribution. While the current GAN structures, such as conditional GAN, successfully generate samples with desired major features, they often fail to produce detailed features that bring specific differences among samples. To overcome this limitation, here we propose a controllable GAN (ControlGAN) structure. By separating a feature classifier from a discriminator, the generator of ControlGAN is designed to learn generating synthetic samples with the specific detailed features. Evaluated with multiple image datasets, ControlGAN shows a power to generate improved samples with well-controlled features. Furthermore, we demonstrate that ControlGAN can generate intermediate features and opposite features for interpolated and extrapolated input labels that are not used in the training process. It implies that ControlGAN can significantly contribute to the variety of generated samples.

연구 동기 및 목표

• 기존 GAN의 주요 속성 외 세밀한 특성 제어에 한계가 있음을 해결하기 위해.
• 표준 조건부 GAN으로는 쉽게 제어할 수 없는 특정이고 미묘한 특성을 가진 이미지 생성을 가능하게 하기 위해.
• 훈련 중에 볼 수 없었던 레이블 조합에 대해 중간 및 반대 특성을 생성할 수 있는 모델의 능력을 탐색하기 위해.
• 생성기에서 특성의 분리 학습을 통해 샘플의 다양성과 품질을 향상시키기 위해.
• 보간 및 외삽을 통해 분포 외 레이블에 일반화할 수 있음을 보여주기 위해.

제안 방법

• ControlGAN은 판별기와 별도로 훈련되는 특성 분류기를 도입하여 세부적인 특성 표현을 추출한다.
• 생성기는 별도의 분류기에서 유도된 특성 재구성 손실과 적대적 손실을 조합한 복합 손실을 사용하여 훈련된다.
• 생성기 훈련 중 특성 분류기는 동결되어 생성기가 특정 세부 특성을 가진 샘플을 생성하도록 학습할 수 있도록 한다.
• 모델은 생성기를 잠재 코드와 특정 특성 벡터로 조건화하여 특성 제어를 가능하게 한다.
• 레이블 벡터의 보간 및 외삽을 통해 훈련 데이터에 존재하지 않는 새로운 실재감 있는 특성 조합을 생성한다.
• 표준 GAN 아키텍처를 유지하되, 손실 함수를 수정하여 특성 수준의 제어를 강조한다.

실험 결과

연구 질문

• RQ1 GAN 아키텍처가 주요 속성 외 세밀한 이미지 특성에 대해 세밀한 제어를 달성할 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 보간된 특성 레이블을 가진 실재감 있는 샘플을 생성할 수 있는가?
• RQ3 레이블 벡터의 외삽을 통해 반대 특성(예: 미소 웃음 대비 찡그린 표정)을 가진 샘플을 생성할 수 있는가?
• RQ4 특성 분류기를 판별기에서 분리함으로써 특성의 분리와 생성 품질이 향상되는가?
• RQ5 ControlGAN이 표준 조건부 GAN에 비해 생성 샘플의 다양성과 현실성에 얼마나 기여하는가?

주요 결과

• ControlGAN은 얼굴 표정, 털 색상, 객체 속성과 같은 세부 특성에 대해 정밀한 제어가 가능한 고해상도 이미지를 성공적으로 생성한다.
• 모델은 훈련 데이터에 존재하지 않는 레이블 조합에 일반화하여, 보간 및 외삽된 특성에 대해 신뢰할 수 있는 샘플을 생성한다.
• 다양한 이미지 데이터셋에서의 평가 결과, 기준 조건부 GAN에 비해 샘플 품질과 다양성이 향상됨을 확인하였다.
• 분리된 특성 분류기는 의미적 특성의 더 나은 분리 가능성을 제공하여 더 제어 가능한 생성을 가능하게 한다.
• 정성적 및 정량적 지표를 통한 검증을 통해 ControlGAN은 세밀한 제어 기능을 갖춘 조건부 이미지 생성 분야에서 최신 기술 수준의 성능을 달성하였다.
• 모델은 훈련 분포를 초월한 의미 있는 중간 및 반대 특성 생성에 있어 뛰어난 일반화 능력을 보이며, 강력한 일반화 성능을 입증하였다.