[論文レビュー] Adaptive Clustering Using Kernel Density Estimators

Ingo Steinwart, Bharath K. Sriperumbudur+1 more|arXiv (Cornell University)|Aug 17, 2017

Bayesian Methods and Mixture Models参考文献 19被引用数 4

ひとこと要約

本論文は、ホルダー連続性の仮定を必要とせず、カーネル密度推定（KDE）を用いてクラスターツリー内のすべての分割を段階的に推定する再帰的でデータ駆動型のクラスタリング手法を提案する。有限標本保証、一貫性、収束速度、および完全にデータ駆動型のバンド幅選択戦略を確立し、単一クラスタ分布の正しく検出するとともに、各分割レベルにおけるクラスタの推定を理論的に厳密に行う。

ABSTRACT

We derive and analyze a generic, recursive algorithm for estimating all splits in a finite cluster tree as well as the corresponding clusters. We further investigate statistical properties of this generic clustering algorithm when it receives level set estimates from a kernel density estimator. In particular, we derive finite sample guarantees, consistency, rates of convergence, and an adaptive data-driven strategy for choosing the kernel bandwidth. For these results we do not need continuity assumptions on the density such as Hölder continuity, but only require intuitive geometric assumptions of non-parametric nature.

研究の動機と目的

• 多クラスタおよび単一クラスタ分布の両方を扱える適応的クラスタリング手法に、理論的保証が欠如している問題に対処する。
• KDEに基づくレベルセット推定を用いて、クラスターツリー内のすべての分割と対応するクラスタを段階的に推定する再帰的アルゴリズムを構築する。
• 密度関数のホルダー連続性を仮定しない条件下で、クラスタ推定の有限標本バウンドと収束速度を提供する。
• 潜在的な密度構造に依存しないデータ駆動型バンド幅選択戦略を導入する。
• 意味のあるクラスタ分割が存在しない場合（すなわち単一クラスタ分布の場合）を、コアのスキャン手順を変更せずに正しく同定することを保証する。

提案手法

• 候補のレベル閾値ρをスキャンすることで、クラスターツリー内の分割を検出する汎用的な再帰的クラスタリングアルゴリズムを提案する。
• 各候補ρに対してカーネル密度推定（KDE）を用いてレベルセット推定を生成し、KDEが密度等高線を推定できる能力を活用する。
• 密度最大値付近のレベルセットに対する新しい幾何的正則性仮定を導入し、ρが密度のノルムの上限に近づく際の安定性を保証する。
• 汎用アルゴリズムの出力論理を修正し、推定されたレベルセットの構造を分析することで、単一クラスタ分布を検出する。
• KDEの有限標本集中不等式を適用し、真のレベルセットと推定されたレベルセットの乖離をバウンドすることで、統計的信頼性を確保する。
• 候補レベルρの離散化グリッド上で和集合不等式を用いて、有限標本保証を全クラスターツリーに拡張する。

実験結果

リサーチクエスチョン

• RQ1 KDEを用いてクラスターツリー内のすべての分割を適応的に推定するクラスタリング手法は、有限標本保証を維持しつつ可能か？
• RQ2 潜在的な密度構造を事前に知らずに、アルゴリズムは単一クラスタ分布をどのように検出できるか？
• RQ3 密度関数のホルダー連続性を仮定しない条件下で、一貫性と収束速度を保証するのに十分な正則性条件は何か？
• RQ4 最適な収束速度を達成できる完全にデータ駆動型のバンド幅選択戦略を導出可能か？
• RQ5 再帰的にアルゴリズムを適用しても、全分割ツリーの推定において統計的一致性と有限標本バウンドを保持できるか？

主な発見

• 提案手法は、最初の分割ρ*の推定誤差に対して有限標本バウンドを達成し、|ρ_out - ρ*|が確率的に有界であることを示した。
• 推定クラスタと真のクラスタの対称差に対して有限標本バウンドを提供し、λ^d(B_i △ A_i*)が確率的に有界であることを示した。
• 直感的な幾何的仮定のもとで、密度関数のホルダー連続性を仮定しない条件下でも、クラスタ推定の一致性と収束速度を確立した。
• 最適な学習レートを達成するデータ駆動型バンド幅選択戦略を導出し、先行研究の理論的バウンドと一致した。
• コアのスキャンメカニズムを変更せずに、推定されたレベルセットのトポロジカル構造を分析することで、単一クラスタ分布を正しく検出できた。
• 技術的課題を伴うが、再帰的適用により全分割ツリーの推定が理論的保証とともに成功した。