[論文レビュー] Cluster Trees on Manifolds

Sivaraman Balakrishnan, S. Sathish Narayanan+3 more|arXiv (Cornell University)|Jul 24, 2013

Topological and Geometric Data Analysis参考文献 21被引用数 36

ひとこと要約

本稿では、高次元空間に埋め込まれた低次元多様体上またはその近傍にサポートされる確率密度関数のクラスターツリーを、k近傍法に基づいて適応的に推定するクラスタリング手法を提案する。この手法は、埋め込み次元Dではなく、内在的多様体次元dにのみ依存する高速な収束速度を達成し、ノイズ下でも一貫性を保つ。これにより、Dに依存しない標本複雑性を実現する。

ABSTRACT

In this paper we investigate the problem of estimating the cluster tree for a density $f$ supported on or near a smooth $d$-dimensional manifold $M$ isometrically embedded in $\mathbb{R}^D$. We analyze a modified version of a $k$-nearest neighbor based algorithm recently proposed by Chaudhuri and Dasgupta. The main results of this paper show that under mild assumptions on $f$ and $M$, we obtain rates of convergence that depend on $d$ only but not on the ambient dimension $D$. We also show that similar (albeit non-algorithmic) results can be obtained for kernel density estimators. We sketch a construction of a sample complexity lower bound instance for a natural class of manifold oblivious clustering algorithms. We further briefly consider the known manifold case and show that in this case a spatially adaptive algorithm achieves better rates.

研究の動機と目的

• 低次元多様体上またはその近傍にサポートされるデータに対する統計的に一貫性があり、計算的に効率的なクラスタリングアルゴリズムの開発。
• アルゴリズムの標本複雑性および収束速度が、埋め込み次元Dではなく、内在的次元dにのみ依存することの証明。
• 多様体上からサンプリングされたデータに有界なノイズが加わる状況における、アルゴリズムのロバストネスの分析。
• ノイズ下でのクラスターツリー回復に関する理論的保証の確立、特に分離条件および連結性条件の導出。
• カーネル密度推定器への分析の拡張を行い、同様の一貫性結果が得られることの示唆。

提案手法

• k近傍法を用いたロバストな単一連結法（RSL）を採用し、レベル集合の連結成分を推定する。
• 2段階のプロセスを導入：まず半径rでのk近傍距離のしきい値処理によりサンプルをクリーニングし、その後接続半径Rを用いてグラフを構築する。
• 多様体固有の幾何的仮定を採用：有界な条件数、有界な体積、局所的なリーマン構造。
• 推定誤差を制御するため、半径R/4のネット上での一様収束バウンドを用いる。
• 分離性と連結性を保証するため、内在パラメータρ = min(σ/7, τ/24, ǫτ/(144d))に基づき、k, r, Rのパラメータ選定を導出する。
• 観測点を半径θ以内の潜在的多様体点の摂動とモデル化し、ノイズの影響を分析。クラスタが分離可能となる条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 k近傍法に基づく単純なクラスタリングアルゴリズムは、高次元空間に埋め込まれた低次元多様体上またはその近傍にサポートされる密度関数に対して、埋め込み次元Dに依存しない高速な収束速度を達成できるか？
• RQ2 有界なノイズが加わる状況下で、(σ, ǫ)-分離クラスタを信頼性高く回復するために必要な最小の標本複雑性は何か？
• RQ3 多様体が既知か未知かによって、アルゴリズムの性能はどのように変化するか？
• RQ4 カーネル密度推定器に基づくレベル集合推定に対しても、同様の理論的保証を拡張できるか？
• RQ5 多様体およびチューブ型ノイズモデル下でのクラスターツリー推定に対するミニマックス最適レートは何か？

主な発見

• 提案されたRSLアルゴリズムは、一貫性を示し、収束速度が内在的多様体次元dにのみ依存する。埋め込み次元Dには依存しない。
• 多様体および密度関数に対するやや弱い正則性仮定の下で、(σ, ǫ)-分離クラスタを特定するための標本複雑性はDに依存しない。
• 有界ノイズ（θ ≤ r/2）下で、θがσおよびǫに対して十分に小さい場合、クラスタは正しく分離される。
• 多様体が既知の場合、空間的に適応的なアルゴリズムにより、近似的にミニマックス最適性に近いレートが達成される。
• カーネル密度推定器についても理論的保証が確立され、適切に選ばれたバンド幅に対して同様の一貫性が示された。
• 自然な多様体無視型クラスタリングアルゴリズムのクラスに対して下界構成が与えられ、それらの標本複雑性における本質的限界が示された。