[論文レビュー] Operator norm convergence of spectral clustering on level sets

Bruno Pelletier, Pierre Pudlo|arXiv (Cornell University)|Feb 11, 2010

Advanced Clustering Algorithms Research参考文献 31被引用数 6

ひとこと要約

本稿では、密度関数の推定された等高線集合の連結成分としてクラスタを特定するスペクトルクラスタリングアルゴリズムを提案する。非パラメトリック密度推定と高密度点におけるスペクトルクラスタリングを組み合わせることで、標本グラフラプラシアンのほとんど確実な作用素ノルム収束を確立し、弱い正則性条件のもとで特徴空間におけるクラスタリング表現の強い一貫性を保証する。

ABSTRACT

Following Hartigan, a cluster is defined as a connected component of the t-level set of the underlying density, i.e., the set of points for which the density is greater than t. A clustering algorithm which combines a density estimate with spectral clustering techniques is proposed. Our algorithm is composed of two steps. First, a nonparametric density estimate is used to extract the data points for which the estimated density takes a value greater than t. Next, the extracted points are clustered based on the eigenvectors of a graph Laplacian matrix. Under mild assumptions, we prove the almost sure convergence in operator norm of the empirical graph Laplacian operator associated with the algorithm. Furthermore, we give the typical behavior of the representation of the dataset into the feature space, which establishes the strong consistency of our proposed algorithm.

研究の動機と目的

• ハーティガンの幾何的定義に従い、クラスタを高密度等高線集合の連結成分として定義するクラスタリングアルゴリズムの開発。
• 推定された等高線集合にスペクトルクラスタリングを適用した場合の漸近的一貫性を保証すること。
• 先行研究が確立した「一様コンパクト収束」に代えて、標本グラフラプラシアン作用素のほとんど確実な作用素ノルム収束を証明することで収束結果を強化すること。
• 提案されたアルゴリズム下での特徴空間におけるスペクトル表現の極限挙動を明確にすること。
• 非教師あり学習における密度推定等高線集合へのスペクトルクラスタリングの使用に対する理論的裏付けを提供すること。

提案手法

• アルゴリズムはまず非パラメトリック法を用いて密度を推定し、推定密度が閾値 $ t $ を超えるデータ点を選別して等高線集合を形成する。
• 選別された点は、カーネルに基づく類似度行列から構築されたグラフラプラシアン行列の固有ベクトルに基づくスペクトルクラスタリングによりクラスタリングされる。
• グラフラプラシアン作用素は再生核ヒルベルト空間上の有限ランク作用素として分析され、作用素ノルム位相における収束が検討される。
• 理論的分析は積分作用素のスペクトル理論に依拠し、特に標本作用素の固有値および固有空間が母集団対応物に収束することを扱う。
• コンパクト作用素理論とスペクトル写像定理を用いて収束を確立し、等高線集合が有限個の連結成分を持つという事実を活用する。
• 重要な技術的ステップとして、作用素スペクトルを孤立部分と残渣部分に分解し、固有値および固有空間の収束を制御可能にする。

実験結果

リサーチクエスチョン

• RQ1 標本サイズが増加する際、推定された $ t $-等高線集合にスペクトルクラスタリングを適用した場合、真のクラスタ構造に収束するか？
• RQ2 クラスタリングが等高線集合に制限された場合、標本グラフラプラシアン作用素に対してどのような収束が確立できるか？
• RQ3 提案されたアルゴリズム下での特徴空間におけるデータのスペクトル表現は、漸近的にどのように振る舞うか？
• RQ4 標本グラフラプラシアンの固有空間は、等高線集合の連結成分に関連する真の固有空間を一貫して推定できるか？
• RQ5 標本作用素の固有値および固有ベクトルと、母集団作用素のそれらの間にはどのような関係があるか？

主な発見

• 標本グラフラプラシアン作用素は、母集団作用素に対してほとんど確実に作用素ノルム収束する。これは、先行研究が確立した「一様コンパクト収束」を上回る結果である。
• 標本グラフラプラシアンの最初の $ \ell $ 個の固有値は、$ \ell $ が等高線集合の連結成分の数であるとして、ほとんど確実に 1 に収束する。
• 最大固有値（1）に付随する固有空間は、作用素ノルムにおいて真の固有空間（次元 $ \ell $）に収束し、クラスタ構造の一致した回復を保証する。
• 標本グラフラプラシアンの固有ベクトルは、成分ごとの収束により、真の連結成分の指示関数と漸近的に一致する。
• 特徴空間における各データ点の表現は、真のクラスタの指示関数に収束し、クラスタリング出力の強い一貫性を確認する。
• 密度関数およびバンド幅選択に関する弱い正則性仮定のもとで収束が成立し、広範な適用可能性を有する。