[論文レビュー] Variational Deep Embedding: A Generative Approach to Clustering.

Zhuxi Jiang, Yin Zheng+3 more|arXiv (Cornell University)|Nov 16, 2016

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 35

ひとこと要約

VaDE は、潜在的埋め込み上に混合ガウス分布（GMM）を用いてデータ生成をモデル化し、その後に深層ニューラルネットワークによる復元を行う、変分オートエンコーダーに基づく生成的クラスタリング手法を提案する。確率的勾配変分ベイズと再パラメータ化トリックを用いて、エビデンス下界（ELBO）を最適化することで、4つの多様なベンチマークにおいて最先端のクラスタリング性能を達成し、教師なしでクラスタ固有のリアルなサンプル生成が可能となる。

ABSTRACT

Clustering is among the most fundamental tasks in computer vision and machine learning. In this paper, we propose Variational Deep Embedding (VaDE), a novel unsupervised generative clustering approach within the framework of Variational Auto-Encoder (VAE). Specifically, VaDE models the data generative procedure with a Gaussian Mixture Model (GMM) and a deep neural network (DNN): 1) the GMM picks a cluster; 2) from which a latent embedding is generated; 3) then the DNN decodes the latent embedding into observables. Inference in VaDE is done in a variational way: a different DNN is used to encode observables to latent embeddings, so that the evidence lower bound (ELBO) can be optimized using Stochastic Gradient Variational Bayes (SGVB) estimator and the reparameterization trick. Quantitative comparisons with strong baselines are included in this paper, and experimental results show that VaDE significantly outperforms the state-of-the-art clustering methods on 4 benchmarks from various modalities. Moreover, by VaDE's generative nature, we show its capability of generating highly realistic samples for any specified cluster, without using supervised information during training. Lastly, VaDE is a flexible and extensible framework for unsupervised generative clustering, more general mixture models than GMM can be easily plugged in.

研究の動機と目的

• 変分オートエンコーダーの枠組み内で、クラスタリングと表現学習を統合する包括的な深層生成モデルの開発。
• 潜在変数上に混合ガウス分布（GMM）を用いてデータ生成プロセスをモデル化し、生成時に明示的なクラスタ割り当てを可能にする。
• 再パラメータ化トリックとSGVB推定器を用いた変分推論により、スケーラブルな最適化を実現するエンドツーエンドの学習を可能にする。
• 多様なデータモダリティにおいて、既存の最先端手法と比較して優れたクラスタリング性能を達成する。
• トレーニング時にラベル付きデータを一切使用せずに、特定のクラスタに条件づけた、非条件的かつ高精細なサンプル生成を可能にする。

提案手法

• VaDE は、データ生成を2段階のプロセスとしてモデル化する：まず GMM がクラスタを選択し、次に深層ニューラルネットワークが潜在的埋め込みを観測可能なデータに復元する。
• モデルは、入力データを潜在的埋め込みにマップする別個の深層エンコーダーを用いる変分推論フレームワークを採用し、エビデンス下界（ELBO）の最適化を可能にする。
• 確率的勾配変分ベイズ（SGVB）と再パラメータ化トリックを用いて、確率的潜在変数を介した勾配のバックプロパゲーションを実現する。
• ミニバッチ確率的勾配降下法を用いて ELBO 目的関数を最適化し、大規模データセットにおけるスケーラブルなトレーニングを可能にする。
• フレームワークは拡張可能であり、GMM をより一般的な混合モデルに置き換えることで、モデルの柔軟性を向上させられる。
• 推論時、トレーニング済みのエンコーダーが潜在コードを生成し、デコーダーが選択されたクラスタに条件づけてサンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 GMM を用いてクラスタ割り当てを明示的にモデル化する深層生成モデルは、既存手法と比較して優れたクラスタリング性能を達成できるか？
• RQ2 再パラメータ化を用いた変分推論フレームワークは、深層クラスタリングモデルの効果的なエンドツーエンド学習をどの程度可能にするか？
• RQ3 トレーニング時にラベル付きデータを一切使用しない状況でも、VaDE は任意の指定されたクラスタに対してリアルで高精細なサンプルを生成できるか？
• RQ4 VaDE フレームワークは、異なるデータモダリティやクラスタリングタスクにどの程度一般化可能か？
• RQ5 GMM を超えるより柔軟な混合モデルを用いることで、モデルを拡張可能か？

主な発見

• VaDE は、異なるデータモダリティをカバーする4つの多様なベンチマークにおいて、最先端のクラスタリング手法を著しく上回る性能を示した。
• モデルは、評価されたすべてのデータセットで優れた正確性と頑健性を示し、最先端のクラスタリング性能を達成した。
• VaDE は、トレーニング時に教師信号を一切使用せずに、任意の指定クラスタに対して高品質かつリアルなサンプル生成が可能である。
• VaDE の生成的機能は、GMM を用いたクラスタ固有のデータ生成プロセスの明示的モデリングに起因する。
• フレームワークは柔軟かつ拡張可能であり、GMM を超えるより一般的な混合モデルの統合が可能で、モデル化能力を強化できる。
• 再パラメータ化トリックと SGVB の使用により、深層生成設定における ELBO 目的関数の安定的かつ効率的な最適化が実現された。