[논문 리뷰] Activation Maximization Generative Adversarial Nets

Zhiming Zhou, Han Cai외 6명|arXiv (Cornell University)|2017. 03. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 46

한 줄 요약

이 논문은 활성화 최대화를 통해 클래스 레이블을 명시적인 타겟 기울기로 사용함으로써 샘플 품질을 햖스는 새로운 GAN 프레임워크인 활성화 최대화 생성 대립 네트워크(AM-GAN)를 제안한다. 이는 CIFAR-10에서 상태최고 수준의 Inception Score 8.91을 기록하며 이전 방법들을 능가하며, 샘플 품질을 다양성 외적으로 더 잘 평가하기 위해 새로운 평가 지표인 AM Score를 도입한다.

ABSTRACT

Class labels have been empirically shown useful in improving the sample quality of generative adversarial nets (GANs). In this paper, we mathematically study the properties of the current variants of GANs that make use of class label information. With class aware gradient and cross-entropy decomposition, we reveal how class labels and associated losses influence GAN's training. Based on that, we propose Activation Maximization Generative Adversarial Networks (AM-GAN) as an advanced solution. Comprehensive experiments have been conducted to validate our analysis and evaluate the effectiveness of our solution, where AM-GAN outperforms other strong baselines and achieves state-of-the-art Inception Score (8.91) on CIFAR-10. In addition, we demonstrate that, with the Inception ImageNet classifier, Inception Score mainly tracks the diversity of the generator, and there is, however, no reliable evidence that it can reflect the true sample quality. We thus propose a new metric, called AM Score, to provide a more accurate estimation of the sample quality. Our proposed model also outperforms the baseline methods in the new metric.

연구 동기 및 목표

• 클래스 레이블이 GAN 학습에 미치는 영향을 수학적으로 분석하는 것, 특히 LabelGAN 및 AC-GAN과 같은 모델에서의 영향을 다루는 것.
• 기존의 클래스 조건부 GAN에서의 한계를 규명하는 것, 예를 들어 LabelGAN의 오버래핑 기울기 문제와 AC-GAN의 모드 붕괴 현상.
• 활성화 최대화를 통해 명시적인 기울기 안내를 제공함으로써 더 나은 생성자 최적화를 위한 AM-GAN을 제안하는 것.
• 기존의 Inception Score보다 더 정확하게 샘플 품질을 반영할 수 있도록, 샘플 품질을 더 정확히 평가하기 위한 새로운 평가 지표인 AM Score를 개발하는 것.
• CIFAR-10 및 Tiny-ImageNet에서 제안된 방법을 검증하여 여러 지표에서 뛰어난 성능을 보여주는 것.

제안 방법

• LabelGAN에서 클래스 인식 기울기를 유도하여, 클래스 레이블이 생성 샘플이 실제 클래스로 향하도록 암묵적으로 이끄는 방식을 보여주는 것.
• 디스커미네이터의 전체 실존 클래스 로짓을 특정 실존 클래스 로짓으로 대체함으로써 AM-GAN을 제안하여 명시적인 타겟 안내를 가능하게 하는 것.
• GAN 학습을 활성화 최대화의 관점에서 재정의하여, 생성자 업데이트를 특정 클래스 활성화를 최대화하는 것으로 프레임워크화하는 것.
• 고정된 클래스 조건으로 인해 발생하는 내부 클래스 모드 붕괴를 완화하기 위해 동적 레이블링을 제안하는 것.
• AC-GAN*을 향상시켜 누락된 생성자 손실 항목 $\mathbb{E}_{(x,y)\sim G}[H(u(y),C(x))]$ 를 재도입함으로써 학습 안정성을 향상시키는 것.
• 활성화 최대화 기반으로 설계된 새로운 평가 지표인 AM Score를 도입하여, 기존 Inception Score보다 더 신뢰할 수 있는 샘플 품질 추정을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 클래스 레이블은 LabelGAN 및 AC-GAN에서 GAN 학습 역학에 어떻게 영향을 미치는가?
• RQ2 디스커미네이터에서 명시적인 타겟 클래스 안내가 암묵적 안내보다 샘플 품질을 향상시키는 이유는 무엇인가?
• RQ3 고정된 클래스 조건부 GAN에서 내부 클래스 모드 붕괴가 발생하는 원인은 무엇이며, 동적 레이블링은 이를 어떻게 완화할 수 있는가?
• RQ4 Inception Score는 실제로 샘플 품질을 얼마나 정확히 반영하는가? 그리고 이 평가 지표의 한계는 무엇인가?
• RQ5 AM Score와 같은 새로운 지표는 기존 지표보다 더 정확하고 안정적인 생성자 품질 추정을 가능하게 할 수 있는가?

주요 결과

• AM-GAN은 CIFAR-10에서 기존 강력한 기준 모델인 AC-GAN* 및 LabelGAN을 능가하는 최고 수준의 Inception Score 8.91을 달성한다.
• AM Score는 Inception Score보다 더 안정적이고 신뢰할 수 있으며, 평가된 모든 모델 중에서 AM-GAN이 가장 높은 AM Score를 기록한다.
• Inception Score는 주로 생성자 다양성을 측정할 뿐이며, 시각적 품질과 강한 상관관계가 없다.
• AC-GAN*에서 보조 분류기 손실 항목 $\mathbb{E}_{(x,y)\sim G}[H(u(y),C(x))]$ 의 제거로 인해 성능이 악화됨을 확인하여, 이 항목의 중요성을 입증한다.
• 동적 레이블링은 CIFAR-10 및 Tiny-ImageNet과 같은 고변동성 데이터셋에서 내부 클래스 모드 붕괴를 크게 감소시킨다.
• 학습 곡선 분석 결과, AM-GAN은 Inception Score에 비해 AM Score에서 일관된 성능 유지를 보이며, 이는 AM Score의 뛰어난 안정성을 시사한다.