[論文レビュー] Scalable Constrained Clustering: A Generalized Spectral Method

Mihai Cucuringu, Ioannis Koutis+1 more|arXiv (Cornell University)|Apr 2, 2015

Advanced Clustering Algorithms Research参考文献 33被引用数 7

ひとこと要約

この論文は、ラプラシアンに基づく一般化固有値問題として制約付きクラスタリングを定式化することにより、2分割のためのほぼ線形時間計算量と強力な理論的保証を備えたスケーラブルなスペクトルクラスタリング手法を提案する。大規模データセットにおいて優れた性能を発揮し、数百万ポイントの処理が可能で、精度と速度の両面で先行手法を上回る。

ABSTRACT

We present a principled spectral approach to the well-studied constrained clustering problem. It reduces clustering to a generalized eigenvalue problem on Laplacians. The method works in nearly-linear time and provides concrete guarantees for the quality of the clusters, at least for the case of 2-way partitioning. In practice this translates to a very fast implementation that consistently outperforms existing spectral approaches. We support this claim with experiments on various data sets: our approach recovers correct clusters in examples where previous methods fail, and handles data sets with millions of data points - two orders of magnitude larger than before.

研究の動機と目的

• 大規模データセットへのスケーリングを実現しつつ理論的保証を維持する課題に対処すること。
• インスタンスレベルの制約をクラスタリングプロセスに統合する原理的で整合性のあるスペクトル的手法を開発すること。
• 特に2分割クラスタリングにおいて、クラスタ品質を損なうことなく計算効率を確保すること。
• 既存のスペクトルクラスタリング手法を統一的に一般化する共通の数学的定式化を提供すること。

提案手法

• 制約付きクラスタリングをグラフラプラシアンを含む一般化固有値問題として定式化する。
• スペクトル緩和技術を活用して、制約を固有値問題構造に直接埋め込む。
• 効率的なクラスタ割り当てを計算するために一般化固有値問題ソルバを用いる。
• スパarsityの活用と効率的な線形代数技術を用いて、ほぼ線形時間計算量を実現する。
• ユーザーが提供するmust-linkおよびcannot-link制約を尊重しながら、データをクラスタに分割する。
• スペクトル緩和バウンドを用いて、2分割クラスタリングの場合のクラスタ品質に関する理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 制約付きクラスタリングを一般化固有値問題として定式化することで、理論的保証とスケーラビリティを達成できるか？
• RQ2 提案手法はほぼ線形時間で動作しながらも、高いクラスタ品質をどのように維持するか？
• RQ3 大規模データセットにおいて、既存のスペクトルクラスタリング手法に比べてどの程度優れているか？
• RQ4 先行手法が失敗するケースにおいて、本手法は正しいクラスタを効果的に回復できるか？

主な発見

• ほぼ線形時間計算量を達成し、数百万ポイントのデータセット処理が可能であり、これは従来手法の約100倍の規模である。
• ベンチマークデータセットにおいて、クラスタリング精度の面で既存のスペクトルクラスタリング手法を一貫して上回る。
• 先行手法が失敗する困難な例においても、本手法は正しくクラスタを回復するのに成功した。
• 2分割クラスタリングの場合に理論的保証が確立され、解の品質がスペクトル緩和バウンドと関連づけられた。