[論文レビュー] Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms

Anna Little, Mauro Maggioni+1 more|arXiv (Cornell University)|Dec 17, 2017

Advanced Clustering Algorithms Research被引用数 14

ひとこと要約

本稿では、最長辺経路距離（LLPD）距離を用いたパスベーススペクトルクラスタリングを提案する。この手法により、顕著な外れ値を含む高次元データにおいても、細長い形状や不規則な形状のクラスタに対して頑健なクラスタリングが可能となる。有限標本におけるクラスタ回復の保証を提供し、固有ギャップ統計量がクラスタ数を正しく特定することを証明するとともに、LLPD計算のための準線形時間アルゴリズムを導入し、大規模データセットにおけるスケーラブルなスペクトルクラスタリングを実現する。

ABSTRACT

We consider the problem of clustering with the longest-leg path distance (LLPD) metric, which is informative for elongated and irregularly shaped clusters. We prove finite-sample guarantees on the performance of clustering with respect to this metric when random samples are drawn from multiple intrinsically low-dimensional clusters in high-dimensional space, in the presence of a large number of high-dimensional outliers. By combining these results with spectral clustering with respect to LLPD, we provide conditions under which the Laplacian eigengap statistic correctly determines the number of clusters for a large class of data sets, and prove guarantees on the labeling accuracy of the proposed algorithm. Our methods are quite general and provide performance guarantees for spectral clustering with any ultrametric. We also introduce an efficient, easy to implement approximation algorithm for the LLPD based on a multiscale analysis of adjacency graphs, which allows for the runtime of LLPD spectral clustering to be quasilinear in the number of data points.

研究の動機と目的

• 高次元の外れ値および非球形クラスタ形状に対して頑健なクラスタリング手法の開発。
• 柔軟な確率的データモデル下でのLLPDに基づくスペクトルクラスタリングにおける理論的有限標本保証の提供。
• ノイズおよび外れ値が存在する状況下で、固有ギャップ統計量がクラスタ数を正しく特定することの証明。
• スケーラビリティを実現するための、LLPDおよび関連するラプラシアン固有ベクトルソルバーの高速で準線形時間のアルゴリズムの設計。
• 固有ベクトルの摂動バウンドを用いて、スペクトルクラスタリングにおける高いラベル精度の確保。

提案手法

• クラスタ間の分離を向上させるために、すべての経路における最大辺長の最小値として定義される最長辺経路距離（LLPD）距離を用いる。
• 隣接グラフのマルチスケール解析を用いて、準線形実行時間のLLPDの効率的近似アルゴリズムを構築する。
• LLPDに基づく類似度グラフ上でスペクトルクラスタリングを適用し、グラフラプラシアンを用いて低次元埋め込みを抽出する。
• 摂動理論（Fanら, 2018）を用いて固有ベクトルのずれをバウンドし、正確なスペクトル埋め込みを保証する。
• クラスタ内の点がℓ2距離で少なくとも√(2/N)以上離れる回転不変スペクトル埋め込みを導入する。
• 多様体学習および透過理論の技術を用いて、クラスタ内LLPDおよびクラスタ間LLPDのバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元かつ外れ値が混在するデータにおいて、LLPDが、クラスタ内距離とクラスタ間距離を高確率で区別するための判別的距離として機能できるか？
• RQ2 LLPDラプラシアンの固有ギャップが、真のクラスタ数を正しく特定するための条件は何か？
• RQ3 パスベースの性質を持つLLPDを、スケールに応じて効率的に計算する方法は何か？
• RQ4 非パラメトリック混合モデル下でのLLPDスペクトルクラスタリングにおけるラベル精度に関する理論的保証はどのようなものか？
• RQ5 提案手法は、幾何的不規則性、クラスタ体積のばらつき、高次元ノイズに対してどの程度頑健か？

主な発見

• 高確率で、最大クラスタ内LLPDは有界であり、最小クラスタ間LLPDは厳密に大きいことから、明確な相転移が保証される。
• 条件 $\frac{1}{2} \geq 5\eta_1 + 4\eta_\theta + 6\zeta_N\eta_2 + O(\eta_1^2 + \eta_\theta^2 + \zeta_N^2\eta_2^2)$ が成り立つとき、固有ギャップ統計量はクラスタ数を正しく特定する。
• 条件 $\frac{1}{K^3\zeta_N^2} \gtrsim \eta_1 + \eta_\theta + \zeta_N\eta_2 + O(\eta_1^2 + \eta_\theta^2 + \zeta_N^2\eta_2^2)$ を満たすと、完全なラベル精度が達成され、スペクトル埋め込みが良好に分離される。
• 提案されたLLPD近似アルゴリズムは準線形時間で実行され、大規模なスペクトルクラスタリングの実現を可能にする。
• スペクトル埋め込み誤差は $\|\tilde{\Phi}R - \Phi\|_{\text{max}} \leq P_3 = O\left(\frac{K^{5/2}\zeta_N^2}{\sqrt{N}}(\eta_1 + \eta_\theta + \zeta_N\eta_2)\right)$ でバウンドされ、安定したクラスタリングが保証される。
• 本手法はクラスタの幾何的形状に依存せず、外れ値に対しても頑健であり、外れ値の数が内点よりも多い場合でも有効である。