[論文レビュー] Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering

Xiaopeng Li, Zhourong Chen+2 more|arXiv (Cornell University)|Mar 14, 2018

Generative Adversarial Networks and Image Synthesis被引用数 24

ひとこと要約

本稿では、階層的で木構造的なスーパーラティスを潜在変数上に学習することで、多次元クラスタリングを可能にする深層生成モデル、Latent Tree Variational Autoencoder (LTVAE) を提案する。従来の手法が1つのパーティションのみを学習するのに対し、LTVAE は潜在特徴の部分集合に基づいて複数の解釈可能なクラスタリングを発見し、勾配降下とステップワイズEMを用いたエンドツーエンド学習により、最先端のクラスタリング精度（例：MNIST で 86.32%）を達成するとともに、意味のある多面的なデータ構造を明らかにする。

ABSTRACT

We investigate a variant of variational autoencoders where there is a superstructure of discrete latent variables on top of the latent features. In general, our superstructure is a tree structure of multiple super latent variables and it is automatically learned from data. When there is only one latent variable in the superstructure, our model reduces to one that assumes the latent features to be generated from a Gaussian mixture model. We call our model the latent tree variational autoencoder (LTVAE). Whereas previous deep learning methods for clustering produce only one partition of data, LTVAE produces multiple partitions of data, each being given by one super latent variable. This is desirable because high dimensional data usually have many different natural facets and can be meaningfully partitioned in multiple ways.

研究の動機と目的

• 既存の深層クラスタリング手法がデータの1つのフラットなパーティションしか学習しないという制限を解消すること。
• 高次元データを、複数の自然な側面を有する形でモデル化するため、離散的潜在変数の木構造的階層を学習すること。
• 教師なしに表現学習と構造発見を同時に実行すること。
• 潜在的側面間の依存関係を学習することで、構造的なデータ生成と条件付きサンプリングを可能にすること。
• ベイジアンネットワーク構造を用いて潜在変数間の相関をモデル化することで、クラスタリング性能を向上させること。

提案手法

• LTVAE は、主な潜在特徴の上に、木構造的ベイジアンネットワークを有する離散的スーパーラティス変数を導入することで、変分オートエンコーダーを拡張する。
• 各スーパーラティス変数が異なるクラスタリングの側面を定義し、潜在特徴の部分集合がそれぞれのクラスタを生成する。
• 生成プロセスでは、深層ニューラルネットワークを介して潜在特徴からデータがサンプリングされ、それらの潜在特徴自体が木構造的スーパーセットから生成される。
• 構造学習はメッセージパッシングを用いたステップワイズEMにより実行され、木のトポロジーとクラスタ割り当ての自動発見が可能になる。
• 再構成損失とKLダイバージェンス項を含む変分推論目的関数を用いた勾配降下により、エンドツーエンドの学習が達成される。
• 祖先サンプリングとコンポーネント固有のサンプリングが、構造的な画像生成に用いられ、意味的属性の制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、高次元データの複数の解釈可能なクラスタリングを、それぞれが異なる意味的側面に対応して学習できるか？
• RQ2 データから自動的に木構造的階層の離散的潜在変数を学習することで、複雑で多面的なデータ構造をモデル化できるか？
• RQ3 潜在的側面間の依存関係をモデル化することで、独立またはフラットなクラスタリング仮定と比較して、データの尤度とクラスタリング性能が向上するか？
• RQ4 学習された潜在木構造は、意味的で構造的なデータ生成と条件付きサンプリングを可能にするか？
• RQ5 単一のパーティションを仮定する既存の深層クラスタリング手法と比較して、LTVAE はクラスタリング精度と解釈可能性において優れているか？

主な発見

• LTVAE は MNIST データセットで 86.32% のクラスタリング精度を達成し、以前の最先端手法を上回る。
• 潜在次元が 20 の場合、LTVAE は複数の明確な側面を発見する：MNIST では、1つの側面が数字の識別で分類され、もう1つの側面が形状とポーズで分類される。
• STL-10 データセットでは、4つの明確な側面が発見され、それぞれがフロントビュー、目の可視性、または動物の角・耳の有無といった異なる視覚的特徴を強調する。
• モデルは解釈可能なクラスタリングを明らかにし、STL-10 の側面1は物体タイプで画像をグループ化するが、側面3と4は物体タイプが異なっていても全体的な視覚的雰囲気でグループ化する。
• 条件付き画像生成の実験では、特定のコンポーネントからサンプリングすることで意味的に整合性のある数字が得られる一方、標準的な VAE はこのような構造を持たない。
• 実験では、スーパーラティス変数間の依存関係を除去するとデータの対数尤度が低下し、木構造的スーパーセットの重要性が確認された。