[論文レビュー] Twin Auxiliary Classifiers GAN

Mingming Gong, Yanwu Xu+3 more|PubMed|Jul 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 10

ひとこと要約

本稿では、補助的分類器生成対向ネットワーク（AC-GAN）における低多様性問題を解消するために、実画像と生成画像の条件付き分布間の乖離をより正確に推定できる2番目の補助分類器を導入した、新たな条件付き生成対向ネットワークアーキテクチャ「二重補助分類器生成対向ネットワーク（TAC-GAN）」を提案する。AC-GANの目的関数に欠落していた項を補正することで、CIFAR100、ImageNet1000、VGGFace2の各データセットにおいて、生成サンプルの多様性と忠実度が顕著に向上し、細粒度顔生成タスクにおいて最先端の性能を達成した。

ABSTRACT

Conditional generative models enjoy remarkable progress over the past few years. One of the popular conditional models is Auxiliary Classifier GAN (AC-GAN), which generates highly discriminative images by extending the loss function of GAN with an auxiliary classifier. However, the diversity of the generated samples by AC-GAN tends to decrease as the number of classes increases, hence limiting its power on large-scale data. In this paper, we identify the source of the low diversity issue theoretically and propose a practical solution to solve the problem. We show that the auxiliary classifier in AC-GAN imposes perfect separability, which is disadvantageous when the supports of the class distributions have significant overlap. To address the issue, we propose Twin Auxiliary Classifiers Generative Adversarial Net (TAC-GAN) that further benefits from a new player that interacts with other players (the generator and the discriminator) in GAN. Theoretically, we demonstrate that TAC-GAN can effectively minimize the divergence between the generated and real-data distributions. Extensive experimental results show that our TAC-GAN can successfully replicate the true data distributions on simulated data, and significantly improves the diversity of class-conditional image generation on real datasets.

研究の動機と目的

• クラス数が増加する際、AC-GANにおける生成サンプル多様性の低減の理論的根拠を特定すること。
• AC-GANの目的関数に欠落している項が原因で生じる分布マッチングの不完全性を是正すること。
• 実データ分布と生成データ分布の乖離をより効果的に最小化できる新たな条件付き生成対向ネットワークフレームワークの構築。
• 特に大規模および細粒度データセットにおいて、分類条件付き画像生成の多様性と忠実度の両方を向上させること。
• TAC-GANが、従来の手法が失敗したVGGFace2のような困難なベンチマークでも、高品質で多様な画像を生成できることを実証すること。

提案手法

• AC-GANの目的関数に欠落していた項を推定するために、二重補助分類器を生成対向ネットワークのミニマックスゲームに新たに導入する。
• 元の識別器に加え、二重分類器を含む目的関数を変更し、条件付き分布の乖離をより正確に推定可能にする。
• 生成器の残差ブロックに共通のクラス埋め込みを採用し、複数のレイヤーでノイズとクラス埋め込みを入力することで特徴表現を向上させる。
• 生成器および識別器にスペクトル正規化と自己自己注意モジュールを適用し、学習の安定化と特徴学習の強化を図る。
• 更新毎に1〜2ステップの交互学習を実施する修正ヘッジ損失を生成器と識別器に適用し、収束性を向上させる。
• 正規直交重み初期化とBig-GANベースのアーキテクチャを採用し、高解像度・大規模データセット（ImageNet1000やVGGFace2）へのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 なぜAC-GANはクラス数が増加するにつれて生成サンプルの多様性が低下するのか？
• RQ2 AC-GANの目的関数に欠落している具体的な項は何か？ それが分布マッチングの不完全性を引き起こす理由は？
• RQ3 第二の補助分類器を導入することで、欠落していた項を効果的に回復でき、分布整合性が向上するか？
• RQ4 提案されたTAC-GAN手法は、多様なデータセットにおいて分類条件付き画像生成の多様性と忠実度を顕著に向上させるか？
• RQ5 TAC-GANは、従来の手法が失敗した細粒度データセット（例：VGGFace2）においても、最先端の性能を達成できるか？

主な発見

• CIFAR100では、TAC-GANがFIDスコア7.22を達成した。これはAC-GANの82.45よりも顕著に低く、画像品質と多様性の優位性を示している。
• CIFAR100では、TAC-GANのインセプションスコア（IS）は9.34であり、AC-GANの5.37を上回り、生成サンプルの品質と多様性の向上を裏付けている。
• ImageNet1000では、100個のランダムに選択されたクラスにおいて、TAC-GANのFIDスコアはProjection cGANを下回り、より優れた分布マッチングを確認した。
• VGGFace200では、TAC-GANのLPIPSスコアがProjection cGANを上回り、細粒度顔データにおいてより高いクラス内分散と多様性を示している。
• TAC-GANは、VGGFace2データセットで高品質かつ多様な画像を生成できた最初のcGAN手法であり、細粒度認識タスクにおける有効性を実証した。
• pacGANとTAC-GANを組み合わせることでさらに性能向上（IS: 9.85、FID: 6.79）が達成されたが、主な多様性向上要因はpacGANそのものではなく、二重分類器アーキテクチャに起因する。