[論文レビュー] Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering

Zhuxi Jiang, Yin Zheng+3 more|arXiv (Cornell University)|Nov 16, 2016

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 87

ひとこと要約

この論文では、変分オートエンコーダー（VAE）とガウス・ミックスチャネル・モデル（GMM）事前分布を組み合わせることで、深層表現とクラスタ割り当てを同時に学習する、新しい教師なし生成的クラスタリングフレームワークである変分深層埋め込み（VaDE）を提案する。データ生成をクラスタ選択、潜在的埋め込みのサンプリング、DNNに基づく復元の3段階でモデル化し、再パラメータ化を用いた確率的勾配変分ベイズにより、下界（ELBO）を最適化することで、教師なしでリアルなサンプルを生成可能であり、最先端のクラスタリング性能を達成する。

ABSTRACT

Clustering is among the most fundamental tasks in computer vision and machine learning. In this paper, we propose Variational Deep Embedding (VaDE), a novel unsupervised generative clustering approach within the framework of Variational Auto-Encoder (VAE). Specifically, VaDE models the data generative procedure with a Gaussian Mixture Model (GMM) and a deep neural network (DNN): 1) the GMM picks a cluster; 2) from which a latent embedding is generated; 3) then the DNN decodes the latent embedding into observables. Inference in VaDE is done in a variational way: a different DNN is used to encode observables to latent embeddings, so that the evidence lower bound (ELBO) can be optimized using Stochastic Gradient Variational Bayes (SGVB) estimator and the reparameterization trick. Quantitative comparisons with strong baselines are included in this paper, and experimental results show that VaDE significantly outperforms the state-of-the-art clustering methods on 4 benchmarks from various modalities. Moreover, by VaDE's generative nature, we show its capability of generating highly realistic samples for any specified cluster, without using supervised information during training. Lastly, VaDE is a flexible and extensible framework for unsupervised generative clustering, more general mixture models than GMM can be easily plugged in.

研究の動機と目的

• 教師なしの環境下で、深層表現とクラスタ割り当てを同時に学習するクラスタリング手法の開発。
• クラスタ識別子を条件として与えた場合に、リアルなサンプルを生成可能な能力を備えたクラスタリングモデルの構築。
• 生成モデリングやサンプル合成機能を欠く既存の深層クラスタリングモデル（例：DEC）の限界を克服すること。
• 潜在コードの事前分布としてガウス混合モデルを用いることで、データ生成プロセスをモデル化し、クラスタリング性能を向上させること。
• 提案フレームワークが多様なデータモダリティに一般化可能であり、クラスタ数の変動に対しても安定性を示すことを実証すること。

提案手法

• VaDEは、データ生成を3段階のプロセスとしてモデル化する：(1) GMM事前分布からクラスタが選択され、(2) クラスタ固有のガウス分布から潜在的埋め込みがサンプリングされ、(3) 深層ニューラルネットワークが潜在的埋め込みを観測可能なデータに復元する。
• モデルは、確率的勾配変分ベイズ（SGVB）推定器を用いて、対数尤度の下界（ELBO）を最大化することで学習される。
• 観測データを潜在的埋め込みにマップする別個のエンコーダー・ネットワークが使用され、再パラメータ化トリックを介してエンドツーエンドの学習が可能となる。
• VAEで一般的に用いられる単一ガウス事前分布に代わり、GMM事前分布が採用され、複数のクラスタを自然にサポートし、クラスタ固有のデータ分布をモデル化可能となる。
• エンコーダーとデコーダーのネットワークを交互に更新することで、表現学習とクラスタリング性能の両方を向上させる最適化プロセスが実施される。
• フレームワークは柔軟な事前分布設計を可能とし、将来的にはGMM以外の混合モデルへの拡張も可能となる。

実験結果

リサーチクエスチョン

• RQ1 教師なしでクラスタリングを実行しつつ、リアルなサンプルを生成可能な深層生成モデルを設計できるか？
• RQ2 VAEにGMM事前分布を組み合わせることで、標準的なVAEやオートエンコーダーに基づくクラスタリングと比較して、クラスタリング性能がどのように向上するか？
• RQ3 学習された潜在的表現が、非生成的モデル（例：DEC）と比較して、データの内在的構造をどの程度保持しているか？
• RQ4 クラスタ数が真のクラス数と一致しない場合、モデルの性能はどの程度維持されるか？
• RQ5 教師信号なしで、特定のクラスタラベルを条件として、高品質で多様なサンプルを生成できるか？

主な発見

• VaDEは、異なるデータモダリティをカバーする5つの多様なベンチマークで、最先端のクラスタリング手法を顕著に上回り、優れたクラスタリング精度を示した。
• VAE や DEC よりも優れたクラスタリング結果を達成しており、特にクラスタ内部領域における誤分類の数が少ない。
• t-SNEを用いた可視化では、VAE や DEC よりも、VaDEがより構造的かつ分離可能な表現を学習していることが示された。誤分類されたサンプルは主にクラスタ境界付近に分布している。
• クラスタ数を真のクラス数より少なく設定した場合（例：MNISTで7）、VaDEは視覚的に類似した数字（例：9と4、3と8）を同じクラスタにグループ化した。
• クラスタ数をクラス数より多く設定した場合（例：MNISTで14）、VaDEは細分化されたサブクラスタ（例：細め vs. 厚めの0、真っすぐ vs. 傾いた1）を発見した。
• VaDEは、教師なしで学習されたにもかかわらず、非常にリアルで多様かつクラス条件付きのサンプルを生成でき、InfoGANと同等の性能を示した。