[論文レビュー] A Model-Based Approach to Rounding in Spectral Clustering

Leonard K. M. Poon, April H. Liu+2 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Clustering Algorithms Research参考文献 5被引用数 7

ひとこと要約

本稿では、クラスタ数が使用する主成分ベクトルの数に等しいという仮定を緩和する、モデルベースのスペクトルクラスタリングのラウンド化手法を提案する。潜在的木構造モデルを活用して、主成分ベクトルの選択、クラスタ数の推定、データの分割を統合的に扱うことで、非理想状況下でもロバスト性と正確性が向上する。合成データおよび実世界のデータセットを用いた検証により、理想クラスタリング設定からの滑らかな性能低下が確認された。

ABSTRACT

In spectral clustering, one defines a similarity matrix for a collection of data points, transforms the matrix to get the Laplacian matrix, finds the eigenvectors of the Laplacian matrix, and obtains a partition of the data using the leading eigenvectors. The last step is sometimes referred to as rounding, where one needs to decide how many leading eigenvectors to use, to determine the number of clusters, and to partition the data points. In this paper, we propose a novel method for rounding. The method differs from previous methods in three ways. First, we relax the assumption that the number of clusters equals the number of eigenvectors used. Second, when deciding the number of leading eigenvectors to use, we not only rely on information contained in the leading eigenvectors themselves, but also use subsequent eigenvectors. Third, our method is model-based and solves all the three subproblems of rounding using a class of graphical models called latent tree models. We evaluate our method on both synthetic and real-world data. The results show that our method works correctly in the ideal case where between-clusters similarity is 0, and degrades gracefully as one moves away from the ideal case.

研究の動機と目的

• 従来のスペクトルクラスタリングのラウンド化手法が、クラスタ数が使用する主成分ベクトルの数に等しいと仮定しているという制限を是正すること。
• 主成分ベクトルのうち、主なものだけでなく、その後続のものからの情報を組み込むことで、クラスタ数の推定を改善すること。
• 主成分ベクトルの選択、クラスタ数の決定、データの分割という3つの問題を同時に解く統一的でモデルベースのフレームワークを構築すること。
• クラスタ間類似度がゼロでない非理想状況下でも、スペクトルクラスタリングのロバスト性を向上させること。

提案手法

• 本手法は、潜在的クラスタ構造をモデル化するために、潜在的木構造モデルと呼ばれるグラフィカルモデルのクラスを採用する。
• 主成分ベクトルのパターン、特に非主成分ベクトルを含むものを分析することで、同時にクラスタ数の推定とデータポイントのクラスタへの割り当てを実行する。
• 埋め込みに使用する主成分ベクトルの数がクラスタ数に等しいという標準的な仮定を緩和する。
• 主成分ベクトル構造に基づいて、最適なクラスタ数と最終的な分割を決定するための確率的推論手順を用いる。
• クラスタの凝集性と分離性の両方をバランスさせる尤度ベースの基準を用いてモデルを学習する。
• クラスタ構造が既知の合成データと実世界のデータセットを用いて、クラスタの重なり具合が変化する状況下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースのアプローチは、主成分ベクトルのうち主なもののみに依存する手法よりも、スペクトルクラスタリングにおけるクラスタ数推定の正確性を向上させることができるか？
• RQ2 非主成分ベクトルからの情報を組み込むことで、重なりのある非理想状況下におけるスペクトルクラスタリングのロバスト性はどのように向上するか？
• RQ3 クラスタ間類似度が理想のゼロ類似度状態から増加するに従って、本手法の性能はどの程度滑らかに低下するか？
• RQ4 統一的で確率的モデルは、スペクトルクラスタリングのラウンド化における3つのサブ問題（主成分ベクトルの選択、クラスタ数の決定、データ分割）を効果的に処理できるか？

主な発見

• クラスタ間類似度がゼロである理想状況では、真のクラスタ数を正しく同定する。
• クラスタ間類似度が増加するに従って、性能が滑らかに低下し、中程度の重なりがある状況でも十分な性能を維持する。
• 後続の主成分ベクトルからの情報を組み込むことで、主に主成分ベクトルに依存する手法よりも、クラスタ数推定がより正確になる。
• 実世界のデータセットにおいて、本手法はベースライン手法を上回り、境界が曖昧または重なっている状況でも特に優れた性能を示す。
• 潜在的木構造モデルの使用により、ラウンド問題に対する整合的で確率的な解決策が可能となり、一貫性と解釈可能性が向上する。