[論文レビュー] Spectral Clustering Based on Local PCA

Ery Arias-Castro, Gilad Lerman+1 more|arXiv (Cornell University)|Jan 9, 2013

Face and Expression Recognition参考文献 33被引用数 43

ひとこと要約

本稿では、局所的主成分分析（PCA）を用いて局所接空間の乖離を測定することで、交差する多様体を解消するスペクトラルクラスタリング手法を提案する。標準的なスペクトラル手法が失敗する状況でも正確なクラスタリングを可能にする。滑らかさおよび幾何的仮定の下で交差クラスタを分離することが理論的に保証されており、マルチマニフォールドクラスタリング設定において従来手法を上回る性能を示す。

ABSTRACT

We propose a spectral clustering method based on local principal components analysis (PCA). After performing local PCA in selected neighborhoods, the algorithm builds a nearest neighbor graph weighted according to a discrepancy between the principal subspaces in the neighborhoods, and then applies spectral clustering. As opposed to standard spectral methods based solely on pairwise distances between points, our algorithm is able to resolve intersections. We establish theoretical guarantees for simpler variants within a prototypical mathematical framework for multi-manifold clustering, and evaluate our algorithm on various simulated data sets.

研究の動機と目的

• 標準スペクトラルクラスタリングが交差するクラスタを分離できない問題に対処すること、特に多様体が鋭い角度で交差する場合に有効であるようにすること。
• 局所線形構造（接空間）を局所PCAによって推定し、非パラメトリックでマルチマニフォールドな設定におけるクラスタリング精度を向上させること。
• 標準的な数学的枠組みにおけるマルチマニフォールドクラスタリングの文脈で、アルゴリズムの簡略化されたバージョンに対する理論的保証を提供すること。
• 局所PCAに基づく類似度が、距離のみに依存する類似度とは異なり、交差部における滑らかさと継続性を捉えることができることを示すこと。

提案手法

• 各データポイントにおいて、半径 r の局所近傍内での主成分分析を用いて局所接空間を推定する。
• 隣接する点同士のユークリッド距離と、それらの局所接部分空間間の角度的乖離に基づいて類似度行列を構築する。
• 近隣点グラフを、主部分空間間の乖離を測る指標に基づいて重み付けする。これにより、局所幾何構造が類似する点同士の接続を優遇する。
• 得られた重み付きグラフに対してスペクトラルクラスタリングを適用し、クラスタ構造を回復する。
• 特に交差部付近では、接空間が著しく異なる点同士の接続を除外するためのしきい値戦略を用いる。
• 理論的分析では、Davis-Kahanの定理と幾何的集中を用いて、推定された部分空間の摂動をバインドし、交差点での分離を保証する。

実験結果

リサーチクエスチョン

• RQ1 局所PCAに基づく類似度は、距離のみに依存する標準スペクトラルクラスタリングが失敗する状況でも、交差する多様体を解消できるか？
• RQ2 どのような幾何的およびサンプリング条件下で、局所接空間の乖離が交差クラスタを信頼性高く分離できるか？
• RQ3 アルゴリズムの性能は、近傍サイズ r およびデータのノイズレベル τ にどのように依存するか？
• RQ4 プロトタイプ的なマルチマニフォールドクラスタリングフレームワークにおいて、アルゴリズムの簡略化されたバージョンに対して理論的保証を確立できるか？
• RQ5 滑らかで非パラメトリックかつ交差する多様体を扱う際、本手法は既存の手法と比較してどのように優れているか？

主な発見

• 本手法は、直交する2本の直線が交差する場合に、標準スペクトラルクラスタリングが失敗するのとは対照的に、正しくクラスタを分離することに成功した。
• 理論的分析により、近傍半径 r とノイズレベル τ が十分に小さい場合、交差部付近の点を接空間の乖離に基づいて区別できることが示された。
• 推定された接部分空間と真の接部分空間との乖離は、O(ξ^{d/(d+2)} + r) で有界であり、ここで ξ はサンプリング密度を制御するパラメータで、d は内因次元である。
• ノイズありの場合（τ > 0）でも、τ/r が小さい限り、本手法はロバストである。共分散行列の摂動は r²(2τ/r + (τ/r)²) で有界である。
• 接空間のなす角度が閾値 η を超える場合、r と ξ を制御することで交差部での分離が保証される。
• 数値実験により、本手法は直線をはるかに超えて、曲がった曲面や高次元の表面を含む複雑な交差多様体をも解消できることを確認した。