[論文レビュー] Unsupervised Deep Embedding for Clustering Analysis

Junyuan Xie, Ross Girshick+1 more|arXiv (Cornell University)|Nov 19, 2015

Image Retrieval and Classification Techniques参考文献 36被引用数 116

ひとこと要約

本論文は、自己教師ありのターゲット分布を用いてクラスタリング目的関数を反復的に最適化することで、深層特徴表現とクラスタ割り当てを共同で学習する、Deep Embedded Clustering (DEC) を提案する。DEC は、バックプロパゲーションを用いたエンドツーエンド学習により、画像およびテキストデータセットにおいて最先端のクラスタリング精度と耐性を達成し、従来の教師なし手法よりも性能とスケーラビリティの面で優れている。

ABSTRACT

Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.

研究の動機と目的

• 従来のクラスタリング手法が手作業で作成されたまたは線形の特徴空間に依存するという制限を克服し、クラスタリングのためのデータ駆動型で非線形の表現を学習すること。
• ラベル付きのクラスタ割り当てを必要とせずに、深層ニューラルネットワークの特徴学習とクラスタ割り当てをエンドツーエンドで同時に最適化すること。
• 交差検証が不可能な教師なし設定において、ハイパーパramータの選択に対する感受性を低減し、クラスタリング性能と耐性を向上させること。
• スペクトルクラスタリング手法が二次またはそれ以上の複雑性を示すのとは異なり、データポイント数に対して線形の複雑性を達成することで、大規模データセットへのスケーリングを実現すること。

提案手法

• DEC は、入力データから低次元の埋め込み空間への非線形写像を学習するための深層オートエンコーダを使用する。
• 学生の t 分布に基づくターゲット分布を用いたソフトクラスタ割り当てを導入し、反復的に更新することでクラスタ割り当てを改善する。
• 確率的勾配降下法を用いて、予測されたクラスタ分布とターゲット分布の間のKullback-Leibler（KL）ダイバージェンス目的関数を最適化する。
• ネットワークは反復的な方法で訓練される：まずオートエンコーダの特徴で初期化し、その後でクラスタ割り当てを改善し、バックプロパゲーションにより埋め込みを更新する。
• 現在のソフト割り当てに基づいてターゲット分布を動的に更新することで、信頼性の高いクラスタ予測を促進し、埋め込みの品質を向上させる。
• この手法はスケーラブルであり、データポイント数に対して線形であるため、大規模データセットでの効率的な訓練が可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークをエンドツーエンドで訓練し、教師なしの設定で特徴表現とクラスタ割り当てを同時に学習できるか？
• RQ2 自己教師ありのターゲット分布を用いた反復的精錬は、標準的なクラスタリング手法と比較して、どのようにクラスタリング性能を向上させるか？
• RQ3 ラベル付きデータによる検証が不可能な状況下で、DEC はハイパーパramータの選択に対する感受性をどの程度低減するか？
• RQ4 提案手法は、高いクラスタリング精度を維持したまま、大規模データセットに効率的にスケーリングできるか？

主な発見

• DEC は、MNIST、STL-10、REUTERS データセットにおいて、標準的手法および最先端のクラスタリング手法を大きく上回る最先端のクラスタリング精度を達成した。
• この手法はハイパーパramータ設定に対して耐性を示し、交差検証をほとんど行わずに、さまざまな構成で一貫して性能が向上した。
• MNIST においてクラスタ数が 9 から 10 に増加した際の汎化性能の急激な低下は、9 が最適なクラスタ数であることを示しており、これは最高の NMI スコアと一致している。
• 埋め込み表現の t-SNE 視覚化では、訓練エポックが進むにつれて、より明確に分離されたクラスタが得られ、モデルが意味のあるクラスタ構造を学習できていることを確認した。
• ベースライン手法と比較して、DEC はクラスの不均衡に対して著しく感受性が低く、クラスタサイズが大きく異なる場合でも高い精度を維持した。
• アブレーションスタディの結果、オートエンコーダによる初期化に加え、KLダイバージェンスの最小化が顕著な性能向上をもたらし、オートエンコーディングされた特徴量上で k-means や他のベースラインを上回った。