[論文レビュー] Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders

Nat Dilokthanakul, Pedro A. M. Mediano+5 more|arXiv (Cornell University)|Nov 8, 2016

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 498

ひとこと要約

本論文は、Gaussian Mixture Variational Autoencoder (GMVAE) を用いて VAE フレームワーク内で教師なしクラスタリングを実行し、過度の正則化を分析し、それを緩和する最小情報制約を適用し、合成データ、MNIST、SVHN で解釈可能な潜在クラスタを持つ競合的な教師なしクラスタリングを実証します。

ABSTRACT

We study a variant of the variational autoencoder model (VAE) with a Gaussian mixture as a prior distribution, with the goal of performing unsupervised clustering through deep generative models. We observe that the known problem of over-regularisation that has been shown to arise in regular VAEs also manifests itself in our model and leads to cluster degeneracy. We show that a heuristic called minimum information constraint that has been shown to mitigate this effect in VAEs can also be applied to improve unsupervised clustering performance with our model. Furthermore we analyse the effect of this heuristic and provide an intuition of the various processes with the help of visualizations. Finally, we demonstrate the performance of our model on synthetic data, MNIST and SVHN, showing that the obtained clusters are distinct, interpretable and result in achieving competitive performance on unsupervised clustering to the state-of-the-art results.

研究の動機と目的

• 深層生成モデル内で多峰性潜在 priors を用いた教師なしクラスタリングを動機付ける。
• VAE に Gaussian mixture prior を提案し、推論のための実現可能な ELBO を導出する。
• GMVAE における過度の正則化を最小情報制約で特定・緩和する。
• GMVAE が画像データセット上で解釈可能で明確な潜在クラスタを学習することを実証する。

提案手法

• 潜在変数 x が w に条件付けられた Gaussian mixture からサンプルされ、離散クラスタ z が混合成分を選択する生成モデルを定義する。
• 認識モデルを用いて後方分布を分解的変分ファミリで近似し、z の条件付き事前項を含む ELBO を導出する。
• z の事後分布を pβ(z|x,w) で計算し、離散変数をサンプリングせずに条件付き事前項を推定して標準のバックプロパゲーションを可能にする。
• Kingma ら 2016 年風の修正 ELBO を適用して z-prior 項を閾値 λ で上限化し、正則化が作動する前にクラスタの拡がりを促進することで過度の正則化を抑制する。
• モンテカルロ推定で評価し、モンテカルロサンプル数 M とクラスタ数 K を増やすと安定性と性能が向上することを示す。
• 異なる z 成分が数字に対応し、w が MNIST/SVHN のスタイルを調整することで、生成の解釈可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 Gaussian mixture prior を持つ GMVAE が VAE フレームワーク内で教師なしクラスタリングを達成できるか。
• RQ2 過度の正則化 が GMVAE クラスタリングにどのように影響するか、最小情報制約はそれを緩和できるか。
• RQ3 GMVAE のクラスタは、合成データ以外の画像データ（MNIST/SVHN）において意味のある解釈可能な因子に対応するか。

主な発見

手法	K	Best Run	Average Run
CatGAN (Springenberg, 2015)	20	90.30	-
AAE (Makhzani et al., 2015)	16	-	90.45 ± 2.05
AAE (Makhzani et al., 2015)	30	-	95.90 ± 1.13
DEC (Xie et al., 2015)	10	84.30	-
GMVAE (M = 1)	10	87.31	77.78 ± 5.75
GMVAE (M = 10)	10	88.54	82.31 ± 3.75
GMVAE (M = 1)	16	89.01	85.09 ± 1.99
GMVAE (M = 10)	16	96.92	87.82 ± 5.33
GMVAE (M = 1)	30	95.84	92.77 ± 1.60
GMVAE (M = 10)	30	93.22	89.27 ± 2.50

• GMVAE は MNIST と SVHN で distinct な解釈可能なクラスタを学習でき、教師なしクラスタリングの性能が競争力を持つ。
• 緩和策がない場合、z-prior 項はクラスタの退化を招き、すべてのデータが単一の大きなクラスタに収束する。
• ELBO の Kingma ら風の修正により z-prior 項を上限化し、早期のクラスタ統合を防ぎクラスタ拡がりを改善する。
• クラスタ数 K およびモンテカルロサンプル数 M を増やすと頑健性とクラスタリング精度が向上する。
• GMVAE の潜在成分は digits に対応し、z が分類を、w がスタイルを制御して解釈可能な生成を可能にする。
• MNIST の場合、K=10 で GMVAE は最先端手法と比較して競争力のある教師なし分類精度を達成する。