[論文レビュー] Deep Continuous Clustering

Sohil Shah, Vladlen Koltun|arXiv (Cornell University)|Mar 5, 2018

Advanced Clustering Algorithms Research参考文献 33被引用数 55

ひとこと要約

Deep Continuous Clustering (DCC) は、事前にクラスター数を指定する必要のない堅牢な連続目的関数の下で深層自己符号化器を訓練することにより、非線形次元削減とクラスタリングを共同で学習し、高次元データセットに対して強力な性能を示します。

ABSTRACT

Clustering high-dimensional datasets is hard because interpoint distances become less informative in high-dimensional spaces. We present a clustering algorithm that performs nonlinear dimensionality reduction and clustering jointly. The data is embedded into a lower-dimensional space by a deep autoencoder. The autoencoder is optimized as part of the clustering process. The resulting network produces clustered data. The presented approach does not rely on prior knowledge of the number of ground-truth clusters. Joint nonlinear dimensionality reduction and clustering are formulated as optimization of a global continuous objective. We thus avoid discrete reconfigurations of the objective that characterize prior clustering algorithms. Experiments on datasets from multiple domains demonstrate that the presented algorithm outperforms state-of-the-art clustering schemes, including recent methods that use deep networks.

研究の動機と目的

• 点間距離があまり有効でない高次元空間でのクラスタリングを動機づける。
• 単一の連続目的関数を最適化する、結合埋め込みとクラスタリングのフレームワークを開発する。
• 堅牢な連続クラスタリング定式化を通じて、クラスター数の事前知識を避ける。
• 勾配ベースの解法と深層ネットワークを用いたスケーラブルな最適化を可能にする。

提案手法

• Θでパラメータ化された深層自己符号化器を用いてデータを低次元空間に埋め込む。
• X が低次元表現 Y から再構成できることを保証する再構成目的で埋め込みを制約する。
• 代表点 Z の集合とペアワイス堅牢損失を用いる RCC ベースの堅牢な連続クラスタリング目的を統合し、離散的な再割り当てなしにクラスタリングを推進する。
• 再構成損失、データ損失、ペアワイスクラスタリング損失を結合したジョイント目的関数 L(Ω, Z) を定義し、確率的勾配法で最適化する。
• X 上に相互 kNN グラフを構築し、クラスタ内の結束とクラスタ間の分離を促すために、非凸な堅牢な M-推定量を用いる。
• スタックドデノイジングオートエンコーダを用いて初期化し、最適化を容易にするための連続化を採用し、クラスタ構造の安定性に基づく終了基準を設定する。

実験結果

リサーチクエスチョン

• RQ1 事前にクラスタ数を指定せず、単一の連続目的関数で結合された非線形埋め込みとクラスタリングを最適化できるか？
• RQ2 ディープ次元削減をクラスタリングと統合することは、逐次的な（埋め込み→クラスタリング）アプローチよりクラスタリング精度を向上させるか？
• RQ3 伝統的なクラスタリング損失と比較して、堅牢な連続クラスタリング目的は高次元データでどのように機能するか？
• RQ4 潜在空間の次元がデータセット全体でのクラスタリング性能とロバスト性に与える影響はどれほどか？

主な発見

• DCC は複数の高次元データセットにおいて、最先端のベースラインと同等かそれ以上のクラスタリング性能を達成する。
• 埋め込みとクラスタリングの結合最適化は、段階的な SDAE 埋め込み後のクラスタリングと比べて優れた結果をもたらす。
• DCC は潜在空間次元数に対する堅牢性を示し、d が増加するにつれて一部のベースラインを上回る。
• このアプローチは真のクラスタ数の事前知識を必要とせず、それでも学習空間において明確なクラスタ構造を生み出す。
• 畳み込み系と全結合オートエンコーダの構成は実行時間が競争力を持ち、conv-DCC はいくつかの深層クラスタリング手法よりも高速である。