[論文レビュー] Generative Adversarial Nets with Labeled Data by Activation Maximization.

Zhiming Zhou, Rong Shu+4 more|arXiv (Cornell University)|Mar 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 4

ひとこと要約

本論文は、訓練中にクラスラベルを明示的にモデル化することで、サンプル品質を向上させるためにアクティベーション最大化を活用する新しいGANアーキテクチャ、AM-GANを提案する。新たに導入されたAMスコアという指標は、インセプションスコアよりもサンプル品質をより正確に推定でき、CIFAR-10において8.91の最先端のインセプションスコアを達成し、両方の指標で既存のベースラインを上回った。

ABSTRACT

Class labels have been empirically shown useful in improving the sample quality of generative adversarial nets (GANs). In this paper, we mathematically study the properties of the current variants of GANs that make use of class label information. With class aware gradient and cross-entropy decomposition, we reveal how class labels and associated losses influence GAN's training. Based on that, we propose Activation Maximization Generative Adversarial Networks (AM-GAN) as an advanced solution. Comprehensive experiments have been conducted to validate our analysis and evaluate the effectiveness of our solution, where AM-GAN outperforms other strong baselines and achieves state-of-the-art Inception Score (8.91) on CIFAR-10. In addition, we demonstrate that, with the Inception ImageNet classifier, Inception Score mainly tracks the diversity of the generator, and there is, however, no reliable evidence that it can reflect the true sample quality. We thus propose a new metric, called AM Score, to provide a more accurate estimation of the sample quality. Our proposed model also outperforms the baseline methods in the new metric.

研究の動機と目的

• クラスラベルがGAN学習に与える影響を勾配と損失分解を用いて数学的に分析すること。
• 既存のラベルに依存するGANの限界を克服し、クラス情報統合のより原理的で整合性のある手法を提案すること。
• インセプションスコアよりも真のサンプル品質をより正確に反映する新しい評価指標、AMスコアを開発すること。
• インセプションスコアが本質的に多様性を追跡しているだけであり、真のサンプル品質を反映していないことを示し、それを実証的に検証すること。

提案手法

• 本手法は、事前学習済み分類器内の特定のクラスニューロンを最大限に活性化させるように生成器を誘導するため、アクティベーション最大化をメカニズムとして導入する。
• 交差エントロピー損失とラベルに依存する勾配を分解することで、ラベルがGAN最適化における役割をより明確に理解できるようにする。
• 敵対的損失とアクティベーション最大化損失を組み合わせた修正された損失関数を用いて、生成器を訓練し、クラス固有の特徴学習を強化する。
• 本手法のAM-GANフレームワークは、敵対的学習とアクティベーション最大化の目的関数を統合的に統合した一貫した訓練手順を採用する。
• 事前学習済みInceptionネットワーク下での実画像と生成画像のアクティベーション統計に基づいて、新しい評価指標であるAMスコアを導出する。
• 新規の損失成分を備えた標準的なGAN訓練プロトコルに従い、CIFAR-10上でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベルに依存するGANにおけるクラスラベルおよび関連損失が、訓練ダイナミクスとサンプル品質にどのように影響を与えるか？
• RQ2 インセプションスコアは、本質的に多様性を測定しているだけであり、真のサンプル品質を反映しているとは限らない。その程度はどの程度か？
• RQ3 アクティベーション最大化をGANに効果的に統合することで、標準的なラベル条件付けを上回るサンプル品質の向上が達成可能か？
• RQ4 提案されたAMスコアは、インセプションスコアよりも信頼性が高く正確なサンプル品質推定を提供するか？
• RQ5 サンプル品質と多様性の両方の指標において、AM-GANは最先端のGANと比較してどのように差をつけるか？

主な発見

• AM-GANはCIFAR-10で8.91という最先端のインセプションスコアを達成し、既存の強力なベースラインを上回った。
• 分析の結果、インセプションスコアは生成サンプルの多様性を主に追跡しており、知覚的忠実度との相関は限定的であることが明らかになった。
• 提案された新しいAMスコア指標において、AM-GANはベースライン手法を顕著に上回り、サンプル品質の向上が裏付けられた。
• アブレーションスタディの結果、アクティベーション最大化が特徴学習とサンプルの現実性向上に有意に寄与していることが確認された。
• 提案されたAMスコアは、インセプションスコアよりも人間評価や知覚的品質と強い相関を示した。