[論文レビュー] Gaussian Mixture Generative Adversarial Networks for Diverse Datasets, and the Unsupervised Clustering of Images

Matan Ben-Yosef, Daphna Weinshall|arXiv (Cornell University)|Aug 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 41

ひとこと要約

GM-GANsは unimodal latent prior を Gaussian mixtures に置換して多様なデータに適合させ、サンプル品質/多様性を向上させ、教師なしクラスタリングを可能にする。さらに、条件付き生成のための監視可能な variant をサポートし、事後学習後の品質‐多様性制御も提供する。

ABSTRACT

Generative Adversarial Networks (GANs) have been shown to produce realistically looking synthetic images with remarkable success, yet their performance seems less impressive when the training set is highly diverse. In order to provide a better fit to the target data distribution when the dataset includes many different classes, we propose a variant of the basic GAN model, called Gaussian Mixture GAN (GM-GAN), where the probability distribution over the latent space is a mixture of Gaussians. We also propose a supervised variant which is capable of conditional sample synthesis. In order to evaluate the model's performance, we propose a new scoring method which separately takes into account two (typically conflicting) measures - diversity vs. quality of the generated data. Through a series of empirical experiments, using both synthetic and real-world datasets, we quantitatively show that GM-GANs outperform baselines, both when evaluated using the commonly used Inception Score, and when evaluated using our own alternative scoring method. In addition, we qualitatively demonstrate how the extit{unsupervised} variant of GM-GAN tends to map latent vectors sampled from different Gaussians in the latent space to samples of different classes in the data space. We show how this phenomenon can be exploited for the task of unsupervised clustering, and provide quantitative evaluation showing the superiority of our method for the unsupervised clustering of image datasets. Finally, we demonstrate a feature which further sets our model apart from other GAN models: the option to control the quality-diversity trade-off by altering, post-training, the probability distribution of the latent space. This allows one to sample higher quality and lower diversity samples, or vice versa, according to one's needs.

研究の動機と目的

• 多クラス・多峰性構造を持つ非常に多様なデータセットへの対応を改善するようGANsを促す。
• データの希薄性と多モーダリティに適合させるため、潜在空間のガウス混合を用いるGaussian Mixture GAN (GM-GAN) を提案する。
• 識別器がクラス確率を出力することで、監視可能/条件付き生成を可能にする。
• Inception Score を超える品質‐多様性のトレードオフを扱う新しい評価指標を導入する。
• GM-GANsが合成データと実データの両方でベースラインを上回り、教師なしクラスタリングを実現できることを実証的に示す。

提案手法

• パラメータ {μ_k, Σ_k} および混合重み α_k を持つ K 個のガウスの混合として p_Z を定義する。静的（固定）および動的（学習）GM-GAN バリアントを検討する。
• z|k ~ N(μ_k, Σ_k) とし、G が z からサンプルを生成する GM-GAN を実装する。動的バリアントではサンプリングを微分可能にする再パラメータ化トリックを適用する。
• 監視可能なGM-GAN バリアントを提供する。ここでは識別器が N クラスのベクトルを出力し、ジェネレータが Gaussian index をクラスラベルへ写像する関数 f: [K] -> [N] を介して対応づける。
• 標準的なGAN の G および D の損失（式 2 および 3）と、監視付き損失バリアント（ジェネレータおよび識別器の双方）という 2 種の損失適用を説明する。
• Gaussian 成分の初期化、混合からのサンプリング、D と G の Adam による交互更新を含む学習アルゴリズム（Algorithm 1）を概説する。

実験結果

リサーチクエスチョン

• RQ1 多峰性の潜在空間 prior（ガウス混合） は、標準の一峰性 priors と比較して多様なデータセット上の GAN の性能を改善できるか？
• RQ2 GM-GAN は潜在ガウスをデータ空間の異なるクラスへ写像することで有効な教師なしクラスタリングを可能にするか？
• RQ3 ガウスの数 K はデータセットに応じてサンプル品質と多様性をどのように影響するか？
• RQ4 監視可能な GM-GAN は既存の条件付き GAN よりクラス条件付き生成を改善できるか？
• RQ5 latent-space の共分散の事後調整は品質‐多様性のトレードオフを制御できるか？

主な発見

Dataset	Model	Score
CIFAR-10	GAN	5.71 (±0.06)
CIFAR-10	GM-GAN (k=10)	5.92 (±0.07)
CIFAR-10	GM-GAN (k=20)	5.91 (±0.05)
CIFAR-10	GM-GAN (k=30)	5.98 (±0.05)
STL-10	GAN	6.80 (±0.07)
STL-10	GM-GAN (k=10)	7.06 (±0.11)
STL-10	GM-GAN (k=20)	6.58 (±0.16)
STL-10	GM-GAN (k=30)	7.03 (±0.10)
CIFAR-10	AC-GAN	6.23 (±0.07)
CIFAR-10	GM-GAN (k=10)	6.84 (±0.03)
CIFAR-10	GM-GAN (k=20)	6.81 (±0.04)
CIFAR-10	GM-GAN (k=30)	6.83 (±0.02)
STL-10	AC-GAN	7.45 (±0.10)
STL-10	GM-GAN (k=10)	8.32 (±0.06)
STL-10	GM-GAN (k=20)	8.16 (±0.05)
STL-10	GM-GAN (k=30)	8.08 (±0.07)

• GM-GAN は synthetic および real データセットの両方で Inception Score および提案された品質‐多様性指標に基づきベースラインを上回る。
• CIFAR-10 および STL-10 で教師なし GM-GAN は GAN ベースラインより高い Inception Score を達成。例えば STL-10 では K=30 の GM-GAN が 7.03、GAN は 6.80。
• 監視設定では、CIFAR-10 および STL-10 の tested K 値で GM-GAN は AC-GAN を一貫して上回る（例: CIFAR-10: AC-GAN 6.23 vs GM-GAN k=10 6.84； STL-10: AC-GAN 7.45 vs GM-GAN k=10 8.32）。
• ガウス数 K はデータセット次第で性能を改善 also 低下させ得る。
• GM-GAN は toy 実験で従来の GAN より収束が速い。
• 潜在的ガウス組織構造はデータ空間クラスとガウスを関連付けることで教師なしクラ clustering への道を提供する。