[논문 리뷰] Generative Adversarial Nets with Labeled Data by Activation Maximization.

Zhiming Zhou, Rong Shu외 4명|arXiv (Cornell University)|2017. 03. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 4

한 줄 요약

이 논문은 학습 중에 클래스 레이블을 명시적으로 모델링함으로써 샘플 품질을 향상시키기 위해 활성화 최대화를 활용하는 새로운 GAN 아키텍처인 AM-GAN을 제안한다. 새로운 평가 지표인 AM 점수를 도입하여 Inception 점수보다 샘플 품질을 더 잘 추정하며, CIFAR-10에서 최고 수준의 Inception 점수 8.91을 기록하고 기존의 베이스라인을 초월한다.

ABSTRACT

Class labels have been empirically shown useful in improving the sample quality of generative adversarial nets (GANs). In this paper, we mathematically study the properties of the current variants of GANs that make use of class label information. With class aware gradient and cross-entropy decomposition, we reveal how class labels and associated losses influence GAN's training. Based on that, we propose Activation Maximization Generative Adversarial Networks (AM-GAN) as an advanced solution. Comprehensive experiments have been conducted to validate our analysis and evaluate the effectiveness of our solution, where AM-GAN outperforms other strong baselines and achieves state-of-the-art Inception Score (8.91) on CIFAR-10. In addition, we demonstrate that, with the Inception ImageNet classifier, Inception Score mainly tracks the diversity of the generator, and there is, however, no reliable evidence that it can reflect the true sample quality. We thus propose a new metric, called AM Score, to provide a more accurate estimation of the sample quality. Our proposed model also outperforms the baseline methods in the new metric.

연구 동기 및 목표

• 클래스 레이블이 GAN 학습에 미치는 영향을 기울기와 손실 분해를 통해 수학적으로 분석하기 위해.
• 기존의 레이블 인식 GAN의 한계를 보완하기 위해 클래스 정보를 통합하는 더 체계적인 방법을 제안하기 위해.
• Inception 점수보다 샘플 품질을 더 정확히 반영하는 새로운 평가 지표인 AM 점수를 개발하기 위해.
• Inception 점수가 진정으로 샘플 품질을 추적하기보다는 주로 다양성을 측정한다는 점을 입증하고, 이를 경험적으로 검증하기 위해.

제안 방법

• 이 방법은 사전 훈련된 분류기의 특정 클래스 뉴런이 최대한 활성화되도록 유도하기 위해 활성화 최대화를 메커니즘으로 도입한다.
• 교차 엔트로피 손실과 레이블 인식 기울기를 분해하여 클래스 레이블이 GAN 최적화에서 수행하는 역할을 더 잘 이해하기 위해.
• 생성자는 적대적 손실과 활성화 최대화 손실을 조합한 수정된 손실을 사용하여 클래스별 특징 학습을 향상시킨다.
• 제안된 AM-GAN 프레임워크는 통합된 훈련 절차에서 적대적 훈련과 활성화 최대화 목표를 모두 통합한다.
• 사전 훈련된 Inception 네트워크 하에서 실재 이미지와 생성 이미지의 활성화 통계를 바탕으로 새로운 평가 지표인 AM 점수를 유도한다.
• 새로운 손실 구성 요소를 사용하여 표준 GAN 훈련 프rotocols를 따르며 CIFAR-10에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 레이블 인식 GAN에서 클래스 레이블과 관련된 손실은 훈련 동역학과 샘플 품질에 어떻게 영향을 미치는가?
• RQ2 Inception 점수가 진정으로 샘플 품질을 반영하는가, 아니면 주로 다양성을 측정하는가?
• RQ3 활성화 최대화는 표준 레이블 조건화를 초월하여 GAN에 효과적으로 통합되어 샘플 품질을 향상시킬 수 있는가?
• RQ4 제안된 AM 점수는 Inception 점수보다 샘플 품질을 더 신뢰할 만하고 정확하게 추정하는가?
• RQ5 샘플 품질과 다양성 지표 측면에서 AM-GAN은 최신 기술 수준의 GAN들과 비교해 어떻게 성능을 내는가?

주요 결과

• AM-GAN은 CIFAR-10에서 기존 강력한 베이스라인을 능가하는 최고 수준의 Inception 점수 8.91을 기록했다.
• 분석 결과 Inception 점수가 진정으로 샘플 품질을 반영하기보다는 생성 샘플의 다양성을 주로 측정하며, 인지적 충실도와는 제한적인 상관관계를 보였다.
• 제안된 새로운 AM 점수 지표에서 AM-GAN은 기존의 베이스라인 방법들을 크게 능가했으며, 이는 샘플 품질 향상을 시사한다.
• 제거 실험을 통해 활성화 최대화가 특징 학습 향상과 샘플의 현실성 향상에 의미 있는 기여를 한다는 것이 확인되었다.
• 제안된 AM 점수는 Inception 점수보다 인간 평가 및 인지적 품질과 더 강한 상관관계를 보였다.