[論文レビュー] Activation Maximization Generative Adversarial Nets

Zhiming Zhou, Han Cai+6 more|arXiv (Cornell University)|Mar 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 46

ひとこと要約

本稿では、活性化最大化を用いてクラスラベルを明示的な勾配目標として活用することで、生成サンプルの品質を向上させる、新しいGANフレームワークであるActivation Maximization Generative Adversarial Networks (AM-GAN)を提案する。CIFAR-10において最先端のInceptionスコア8.91を達成し、生成品質の評価を多様性を超えてより的確に行うために、新たな指標であるAMスコアを導入している。

ABSTRACT

Class labels have been empirically shown useful in improving the sample quality of generative adversarial nets (GANs). In this paper, we mathematically study the properties of the current variants of GANs that make use of class label information. With class aware gradient and cross-entropy decomposition, we reveal how class labels and associated losses influence GAN's training. Based on that, we propose Activation Maximization Generative Adversarial Networks (AM-GAN) as an advanced solution. Comprehensive experiments have been conducted to validate our analysis and evaluate the effectiveness of our solution, where AM-GAN outperforms other strong baselines and achieves state-of-the-art Inception Score (8.91) on CIFAR-10. In addition, we demonstrate that, with the Inception ImageNet classifier, Inception Score mainly tracks the diversity of the generator, and there is, however, no reliable evidence that it can reflect the true sample quality. We thus propose a new metric, called AM Score, to provide a more accurate estimation of the sample quality. Our proposed model also outperforms the baseline methods in the new metric.

研究の動機と目的

• ラベル付きGANの学習におけるクラスラベルの影響を数学的に分析すること、特にLabelGANやAC-GANのようなモデルを対象とする。
• 既存のクラス条件付きGANにおける限界を特定すること、例えばLabelGANの重ね合わせ勾配問題やAC-GANのモード崩壊現象を対象とする。
• 活性化最大化による明示的で明確な勾配ガイダンスを提供することで、より良い生成器最適化を実現するAM-GANを提案すること。
• Inceptionスコアよりも正確に生成品質を反映する新しい評価指標、AMスコアを考案すること。
• CIFAR-10およびTiny-ImageNetにおける提案手法の妥当性を検証し、複数の指標において優れた性能を示すこと。

提案手法

• LabelGANにおけるクラスに依存する勾配を導出することで、クラスラベルが生成サンプルを実際のクラスに間接的に導く仕組みを明らかにする。
• ディスクラミネータの全クラスの実際のクラススコアを、特定の実際のクラススコアに置き換えることで、AM-GANを提案する。これにより、明示的なターゲットガイダンスが可能になる。
• GAN学習を活性化最大化の観点から再定式化し、生成器の更新をクラス固有の活性化を最大化するプロセスとして捉える。
• 固定されたクラス条件によるクラス内モード崩壊を軽減するため、動的ラベリングを導入する。
• AC-GAN*を強化し、欠落していた生成器損失項 $\mathbb{E}_{(x,y)\sim G}[H(u(y),C(x))]$ を再導入することで、学習安定性を向上させる。
• 活性化最大化に基づく新しい指標であるAMスコアを導入し、Inceptionスコアよりも信頼性の高い生成品質の推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラスラベルは、特にLabelGANやAC-GANにおいて、GANの学習ダイナミクスにどのように影響を与えるか？
• RQ2 ディスクラミネータにおける明示的なターゲットクラスガイダンスが、暗黙のガイダンスよりも生成品質を向上させる理由は何か？
• RQ3 事前に定義されたクラス条件付きGANにおけるクラス内モード崩壊の原因は何か？また、動的ラベリングはどのようにこれを緩和できるか？
• RQ4 Inceptionスコアは生成品質を真に反映しているのか？その評価指標としての限界は何か？
• RQ5 AMスコアのような新しい指標は、従来の指標よりも生成器品質のより正確で安定した推定を可能にするのか？

主な発見

• AM-GANはCIFAR-10で8.91という最先端のInceptionスコアを達成し、AC-GAN* や LabelGAN といった強力なベースラインを上回った。
• AMスコアはInceptionスコアよりも安定的かつ信頼性が高く、評価されたすべてのモデルの中でAM-GANが最高のAMスコアを記録した。
• Inceptionスコアは主に生成器の多様性を測定しており、知覚的品質とは強い相関がないことが判明した。
• AC-GAN* において、補助分類器損失項 $\mathbb{E}_{(x,y)\sim G}[H(u(y),C(x))]$ の削除が性能の低下を引き起こした。これは、この項が重要であることを示している。
• 動的ラベリングは、CIFAR-10 や Tiny-ImageNet のような高ばらつきの大きいデータセットにおいて、クラス内モード崩壊を顕著に軽減した。
• 学習曲線の分析から、AM-GANはAMスコアにおいて一貫した性能を維持している一方、Inceptionスコアはより大きな変動を示しており、AMスコアの優れた安定性が裏付けられた。