[論文レビュー] Disentangling to Cluster: Gaussian Mixture Variational Ladder Autoencoders

Matthew Willetts, Stephen Roberts+1 more|arXiv (Cornell University)|Sep 25, 2019

Bayesian Methods and Mixture Models参考文献 31被引用数 4

ひとこと要約

本稿では、各潜在層にガウス・ミックスチャージ成分を備えた変分ラダーオートエンコーダー（VLAC）を提案する。これにより、数字の識別子や色といった異なるクラスタリング要因を別々に捉えることができる分離クラスタリングが可能になる。SVHNでは、単層のガウス・ミックスチャージDGM（0.252）よりも高いテストセットクラスタリング精度（0.378）を達成しており、分離表現における階層的クラスタリングが性能向上に寄与することを示している。

ABSTRACT

In clustering we normally output one cluster variable for each datapoint. However it is not necessarily the case that there is only one way to partition a given dataset into cluster components. For example, one could cluster objects by their colour, or by their type. Different attributes form a hierarchy, and we could wish to cluster in any of them. By disentangling the learnt latent representations of some dataset into different layers for different attributes we can then cluster in those latent spaces. We call this "disentangled clustering". Extending Variational Ladder Autoencoders (Zhao et al., 2017), we propose a clustering algorithm, VLAC, that outperforms a Gaussian Mixture DGM in cluster accuracy over digit identity on the test set of SVHN. We also demonstrate learning clusters jointly over numerous layers of the hierarchy of latent variables for the data, and show component-wise generation from this hierarchical model.

研究の動機と目的

• 単一のクラスタ変数に依存するクラスタリングの限界を克服し、階層的潜在層にまたがって複数の分離可能なクラスタリング要因を可能にすること。
• 分離表現における明確で解釈可能なクラスタ成分を学習することで、混合された表現よりもクラスタリング性能を向上させること。
• 分離潜在空間における階層的クラスタリングが、標準的な深層生成モデルよりもクラスタ精度で優れていることを示すこと。

提案手法

• 各層の潜在変数にガウス・ミックスチャージ事前分布を導入することで、変分ラダーオートエンコーダー（VLAE）を拡張し、クラスタリングを可能にする。
• 認識ネットワークを用いたアンモライズド変分推論により、各層$\ell$のクラスタ割り当て$y_{\ell}$を推論し、テスト時におけるクラスタリングを可能にする。
• 離散的クラスタ変数の期待値をすべての組み合わせを平均化せずに、確率的推定のためにGumbel-Softmaxトリックを適用する。
• 各層$\ell$が自身のクラスタ変数$y_{\ell}$（$K_{\ell}$個の成分）を備える階層的生成モデルを実装し、成分ごとの生成を可能にする。
• 潜在変数$z_{\ell}$および$y_{\ell}$の事後分布と事前分布のKLダイバージェンス、および潜在変数によるデータの尤度を含む変分下界を最適化する。
• 生成器$f$および逆変換器$g$に畳み込みおよび逆畳み込みネットワークを用い、$p(x|z)$には固定分散のガウス尤度を採用する。

実験結果

リサーチクエスチョン

• RQ1 複数の分離可能な潜在変数層にまたがるクラスタリングが、各層が異なるデータ属性を捉えることによって、実際に有効に実行可能か。
• RQ2 分離潜在空間における階層的クラスタリングは、単層モデルと比較してクラスタリング精度を向上させるか。
• RQ3 モデルは、数字の識別子や画像の色といった真値属性に対応する意味のあるクラスタ成分を学習できるか。
• RQ4 VLACはSVHNにおいて、最先端のクラスタリング手法と比較してどの程度の性能を示すか。
• RQ5 学習済みクラスタ成分からの成分ごとの生成は、分離性と解釈可能性を示すことができるか。

主な発見

• VLACで$\mathbf{K^{\text{two}}}} = [1,5,50,1]$とした場合、テストセットのクラスタリング精度が0.378に達し、単層ガウス・ミックスチャージDGMベースライン（0.252）を著しく上回った。
• モデルは、階層の3番目の層に数字の識別子を明確に分離し、クラスタ成分が真値の数字クラスと一致した。
• $\ell=2$層からの成分ごとの生成は、画像の色温度に対応する明確なクラスタを示し、学習済み要因の解釈可能性を裏付けた。
• VLACで$\mathbf{K^{\text{one}}}} = [1,1,50,1]$とした場合、0.351の精度を達成し、標準DGMよりも1つの追加クラスタ層があるだけで性能が向上することを示した。
• デコーダー平均の可視化により、同じ層内の異なるクラスタ成分が意味的に明確な画像変化を生成することが確認された。
• 結果から、分離表現における階層的クラスタリングは、深層生成モデルの性能と解釈可能性の両方を向上させることを示唆している。