[論文レビュー] Stability of Density-Based Clustering

Alessandro Rinaldo, Aarti Singh+2 more|arXiv (Cornell University)|Nov 11, 2010

Advanced Clustering Algorithms Research参考文献 31被引用数 52

ひとこと要約

本稿では、カーネル密度推定に基づき、バンド幅 h に依存する密度ベースクラスタリングの感度を評価するため、レベル集合用の不安定性尺度 Ξn(h) とクラスタツリー用の Γn(h) を導入・分析する。理論的境界を確立し、Γn(h) が Ξn(h) よりもより安定的かつ取り扱いやすいことを示し、全変動に基づくバンド幅選択法を提案することで、データ部分集合間で一貫したクラスタ構造を保証する。

ABSTRACT

High density clusters can be characterized by the connected components of a level set <em>L(λ) = {x: p(x)&gt;λ}</em> of the underlying probability density function <em>p</em> generating the data, at some appropriate level <em>λ ≥ 0</em>. The complete hierarchical clustering can be characterized by a cluster tree <em>T= ∪_λL(λ)</em>. In this paper, we study the behavior of a density level set estimate <em>L̂(λ)</em> and cluster tree estimate <em>T̂</em> based on a kernel density estimator with kernel bandwidth <em>h</em>. We define two notions of instability to measure the variability of <em>L̂(λ)</em> and <em>T̂</em> as a function of <em>h</em>, and investigate the theoretical properties of these instability measures.

研究の動機と目的

• カーネルバンド幅 h の関数として、密度ベースクラスタリングにおける不安定性を形式化すること。
• 密度に関する正則性条件の下で、不安定性尺度 Ξn(h) および Γn(h) の理論的境界を確立すること。
• 全変動安定性を用いた構成的バンド幅選択手順を提供すること。
• Γn(h) がバンド幅にわたって Ξn(h) よりも単純かつ安定であるという経験的観察を説明すること。
• 理論的安定性と高密度クラスタ検出における実用的クラスタリングパrameter選択を橋渡しすること。

提案手法

• バンド幅 h を用いたカーネル密度推定に基づき、レベル集合推定量 bL(λ) およびクラスタツリー推定量 bT を定義する。
• 二つの独立なデータ部分集合からのレベル集合推定値の期待対称差分として、Ξn(h) を導入する。
• 全変動距離に基づく密度推定値間の距離を用いて、グローバル不安定性尺度 Γn(h) を提案する。
• ベルンシュタインの不等式と経験過程論を用いて、Ξn(h) の濃縮不等式を導出する。
• リプシッツ連続性および局所密度正則性仮定 (A1, A2) の下で、Ξn(h) および Γn(h) の境界を確立する。
• ベリー・エッセーンの境界およびドンスカークラスの性質を用いて、不安定性尺度の漸近的挙動を導出する。

実験結果

リサーチクエスチョン

• RQ1 カーネルバンド幅 h に応じて、密度ベースレベル集合の不安定性はどのように変化するか？
• RQ2 なぜグローバル不安定性尺度 Γn(h) はローカル尺度 Ξn(h) よりも単純かつ安定的であるのか？
• RQ3 全変動に基づく不安定性は、クラスタリングのための構成的バンド幅選択規則を導くことができるか？
• RQ4 カーネル密度推定におけるクラスタツリー推定の安定性に対して、どのような理論的保証が得られるか？
• RQ5 異なる密度正則性条件の下で、不安定性尺度はどのように振る舞うか？

主な発見

• Ξn(h) はバンド幅にわたって複雑で非単調な挙動を示し、実際の不安定性の原因を説明する。
• Γn(h) は Ξn(h) よりも著しく滑らかで予測可能であり、バンド幅選択に適している。
• 正則性条件の下で、n → ∞ かつ h → 0 のとき、Ξn(h) および Γn(h) がともに 0 に収束することが理論的に示された。
• Γn(h) は密度推定誤差の L∞-ノルムによって上界が与えられ、経験過程論を用いた濃縮境界が可能になる。
• A1 および A2 の下で、Ξn(h) は P(Uh,2˜ϵ,α)Ah,ϵ,α + C(h,ϵ,n) で上界が与えられ、誤差項が明示的に制御可能である。
• 全変動不安定性尺度は、データ部分集合間で安定したクラスタリングを保証するバンド幅選択規則を導く。