[論文レビュー] Unbiased Auxiliary Classifier GANs with MINE

Ligong Han, Anastasis Stathopoulos+2 more|arXiv (Cornell University)|Jun 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 11

ひとこと要約

本稿では、標準的なAC-GANに欠落している条件付きエントロピー項を直接推定するために、相互情報ニューラル推定器（MINE）を用いるUnbiased Auxiliary Classifier GANs（UAC-GAN）を提案する。これにより、二重の補助識別器を必要とせず、訓練の安定性が向上する。UAC-GANは、MNIST、CIFAR10、および合成的なMoGデータにおいて、AC-GANやTAC-GANと比較して優れた画像生成品質とより良いクラス条件付き分布マッチングを達成する。

ABSTRACT

Auxiliary Classifier GANs (AC-GANs) are widely used conditional generative models and are capable of generating high-quality images. Previous work has pointed out that AC-GAN learns a biased distribution. To remedy this, Twin Auxiliary Classifier GAN (TAC-GAN) introduces a twin classifier to the min-max game. However, it has been reported that using a twin auxiliary classifier may cause instability in training. To this end, we propose an Unbiased Auxiliary GANs (UAC-GAN) that utilizes the Mutual Information Neural Estimator (MINE) to estimate the mutual information between the generated data distribution and labels. To further improve the performance, we also propose a novel projection-based statistics network architecture for MINE. Experimental results on three datasets, including Mixture of Gaussian (MoG), MNIST and CIFAR10 datasets, show that our UAC-GAN performs better than AC-GAN and TAC-GAN. Code can be found on the project website.

研究の動機と目的

• 補助識別器GANs（AC-GANs）に知られているバイアスを是正すること。これは、目的関数に欠落している負の条件付きエントロピー項が原因で、クラス内多様性が低くなるためである。
• 二重補助識別器GANs（TAC-GAN）に伴う訓練の不安定性を克服すること。これは、欠落しているエントロピー項を推定するために第二の補助識別器を導入しているためである。
• TAC-GANの代替として、理論的根拠に基づいた安定な手法を開発すること。具体的には、MINEを用いて生成されたサンプルとそのラベル間の相互情報を直接推定することで、条件付きエントロピー項を推定する。
• 追加の識別器や複雑なアーキテクチャを導入せずに、欠落しているエントロピー項を組み込むことで、条件付き画像生成の品質と分布マッチングを向上させること。

提案手法

• 本手法は、生成データとそのラベル間の相互情報推定に、相互情報ニューラル推定器（MINE）を用いる。これにより、欠落している負の条件付きエントロピー項が効果的に推定される。
• MINEのための射影ベースの統計ネットワークアーキテクチャを導入し、計算コストを最小限に抑えつつ、効率的かつ安定した相互情報推定を可能にする。
• 生成器は、MINEで推定された相互情報を最小化するように訓練され、これにより高エントロピーで多様なラベル条件付きサンプルが生成される。
• 提案されたUAC-GANフレームワークは、MINEを標準的なAC-GANの目的関数に統合し、TAC-GANで用いられる二重識別器の代わりに微分可能な相互情報推定器を導入する。
• 元のAC-GANの生成器と識別器を維持しつつ、条件付きエントロピー項の推定に単一のMINEベースの推定器を追加する。

実験結果

リサーチクエスチョン

• RQ1 MINEによる相互情報推定が、TAC-GANの二重補助識別器を効果的に置き換え、AC-GANのバイアスを低減し、訓練を安定化させることができるか？
• RQ2 欠落している負の条件付きエントロピー項を直接推定することで、条件付きGANにおける生成サンプルの多様性が向上するか？
• RQ3 合成データおよび実世界のデータセットにおいて、UAC-GANはAC-GANおよびTAC-GANと比較して、分布マッチングおよび画像生成品質において優れているか？
• RQ4 射影ベースのMINEアーキテクチャは、計算コストを最小限に抑えつつ、GANに効率的に統合可能か？

主な発見

• 1次元の混合ガウス（MoG）データセットにおいて、UAC-GANは3クラス中2クラス（Class_1およびClass_2）で最小のMMD距離を達成し、それぞれ0.148 ± 0.274および0.760 ± 1.474であった。これは、AC-GANおよびTAC-GANを上回る性能である。
• MNISTでは、UAC-GANはインセプションスコア2.68およびFID3.68を達成し、AC-GAN（IS: 2.52, FID: 4.17）およびTAC-GAN（IS: 2.60, FID: 3.70）を上回った。
• CIFAR10では、UAC-GANはインセプションスコア4.92およびFID43.04を達成し、AC-GAN（IS: 4.71, FID: 47.75）およびTAC-GAN（IS: 4.17, FID: 54.91）を上回った。
• UAC-GANの視覚的サンプルは、特に同じクラスの多様なインスタンスを生成する点で、AC-GANおよびTAC-GANと比べて顕著に高いラベル条件付き多様性を示している。
• 提案された射影ベースのMINEアーキテクチャは、計算コストをほとんど増加させないため、UAC-GANは実用的で効率的な手法である。