[論文レビュー] Deep Unsupervised Clustering Using Mixture of Autoencoders

Dejiao Zhang, Yifan Sun+2 more|arXiv (Cornell University)|Dec 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 37

ひとこと要約

本稿では、複数の非線形多様体を混合オートエナボーダと混合割り当てネットワークを用いて同時に学習する深層教師なしクラスタリングフレームワークMIXAEを提案する。再構成誤差とクラスタ割り当ての最適化を同時に実行することで、MNIST、CIFAR-10、Reutersなどのベンチマークデータセットで最先端の性能を達成し、特に筆記体スタイルの微細な変動 such as 手書きスタイル も捉えることができる。

ABSTRACT

Unsupervised clustering is one of the most fundamental challenges in machine learning. A popular hypothesis is that data are generated from a union of low-dimensional nonlinear manifolds; thus an approach to clustering is identifying and separating these manifolds. In this paper, we present a novel approach to solve this problem by using a mixture of autoencoders. Our model consists of two parts: 1) a collection of autoencoders where each autoencoder learns the underlying manifold of a group of similar objects, and 2) a mixture assignment neural network, which takes the concatenated latent vectors from the autoencoders as input and infers the distribution over clusters. By jointly optimizing the two parts, we simultaneously assign data to clusters and learn the underlying manifolds of each cluster.

研究の動機と目的

• 教師なしクラスタリングにおける単一多様体オートエナボーダの制限を解消し、複雑で非線形的かつ重複するデータ構造を捉えること。
• クラスタごとに低次元多様体を同時に学習し、エンドツーエンド最適化によりデータポイントをクラスタに割り当てる。
• 複雑で非線形的かつ重複するクラスタ構造を有する大規模・高次元データセットにおけるクラスタリング性能を向上させること。
• 1つのクラスタごとに異なる部分多様体をモデル化できる複数のオートエナボーダを許容することで、データ内での微細なスタイル的変動（例：手書き数字の異なる筆圧）の発見を可能にすること。

提案手法

• 各オートエナボーダが特定のクラスタの低次元非線形多様体を学習するオートエナボーダの混合を用いる。
• 全オートエナボーダの潜在ベクトルを連結したものを入力とし、ソフトクラスタ割り当て分布を予測する混合割り当てニューラルネットワークを採用。
• 目的関数はオートエナボーダからの再構成誤差と混合ネットワークからのクラスタ割り当て誤差を組み合わせ、同時に最適化する。
• バッチエントロピー正則化を適用して、クラスタ割り当ての均一性を促進し、バランスの取れたデータセットにおける安定性を向上させる。
• 多様体学習とクラスタリングが共に適応するエンドツーエンド学習が可能で、表現の分離性が向上する。
• Reutersのような非バランスなデータセットでは、クラスの不均衡に感受性を示すことが判明し、正則化の改善が余儀ない。

実験結果

リサーチクエスチョン

• RQ1 オートエナボーダの混合は、単一オートエナボーダベースの手法と比較して、複数の非線形多様体を同時に学習し、優れたクラスタリングを達成できるか？
• RQ2 多様体学習とクラスタ割り当ての共同最適化は、表現品質とクラスタリング精度をどのように向上させるか？
• RQ3 モデルは、手書き数字の異なる筆記スタイルなど、データ内の微細なスタイル的変動をどの程度発見できるか？
• RQ4 非バランスなデータセットでは、モデルの性能はどのようになるか？また、バッチエントロピー正則化がそのような状況でどのような制限を引き起こすか？

主な発見

• MIXAEは、MNIST、CIFAR-10、Reutersデータセットで、DECなどの既存の深層クラスタリングモデルを上回る最先端のクラスタリング性能を達成した。
• Kを増加させることで、直線的 vs. なでしこの1のスタイルや、丸みのある0 vs. 細い0のスタイルといった、より洗練されたクラスタ構造が発見された。
• MNISTにおけるK=30では、クラスタ純度が向上し、各数字を複数のサブクラスタに分割することで多様体の重複が軽減され、分離性が向上した。
• Kが増加するにつれ、最終的なクラスタ割り当てがますます非バランスになる傾向が見られ、推定ラベル共分散行列の対角成分に高い分散が観察された。
• Reutersデータセットでは、サンプルごとのエントロピーが低くならず、クラスの不均衡によりクラスタ割り当ての曖昧さが持続していることが示された。
• 多様体学習とクラスタリングの共同最適化が、オートエナボーダやクラスタリングヘッドを別々に訓練するのとは対照的に、より分離性の高い潜在表現を生成することを示した。