[論文レビュー] DBSCAN: Optimal Rates For Density Based Clustering

Daren Wang, Xinyang Lu+1 more|arXiv (Cornell University)|Jun 9, 2017

Advanced Clustering Algorithms Research参考文献 39被引用数 5

ひとこと要約

本稿は、DBSCANに基づくレート最適で計算的に効率的な密度ベースのクラスタリング手法を提案する。核密度推定とネストドランダムジオメトリックグラフを用いてクラスタツリーを推定する。 Hölder滑らかさを持つ密度関数に対して、クラスタツリー推定のミニマックス最適レートを確立し、これはL∞ノルムにおける密度推定のミニマックスレートと一致する。また、ジャンプ不連続性を有する密度関数に対しても結果を拡張する。

ABSTRACT

We study the problem of optimal estimation of the density cluster tree under various assumptions on the underlying density. Building up from the seminal work of Chaudhuri et al. [2014], we formulate a new notion of clustering consistency which is better suited to smooth densities, and derive minimax rates of consistency for cluster tree estimation for Holder smooth densities of arbitrary degree α. We present a computationally efficient, rate optimal cluster tree estimator based on a straightforward extension of the popular density-based clustering algorithm DBSCAN by Ester et al. [1996]. The procedure relies on a kernel density estimator with an appropriate choice of the kernel and bandwidth to produce a sequence of nested random geometric graphs whose connected components form a hierarchy of clusters. The resulting optimal rates for cluster tree estimation depend on the degree of smoothness of the underlying density and, interestingly, match minimax rates for density estimation under the supremum norm. Our results complement and extend the analysis of the DBSCAN algorithm in Sriperumbudur and Steinwart [2012]. Finally, we consider level set estimation and cluster consistency for densities with jump discontinuities, where the sizes of the jumps and the distance among clusters are allowed to vanish as the sample size increases. We demonstrate that our DBSCAN-based algorithm remains minimax rate optimal in this setting as well.

研究の動機と目的

• 基礎となる密度関数に滑らかさ仮定をおく場合の、密度ベースクラスタリングにおける統計的に最適なクラスタツリー推定器の開発。
• 密度のHölder滑らかさに明示的に依存するクラスタツリー推定のミニマックス最適レートの確立。
• ジャンプ不連続性を有する密度関数に対しても理論的保証を拡張し、ジャンプサイズおよび標本サイズに応じたDBSCANのミニマックスレートを示す。
• DBSCANの性能をL∞ノルムにおける密度推定レートと結びつけることで、DBSCANに厳密な統計的基盤を提供する。
• 滑らかさに適した新しいδ-分離基準を導入し、クラスタリングの一貫性を高める。

提案手法

• i.i.d.標本から核密度推定器を用いてネストドランダムジオメトリックグラフの系列を構築する、修正されたDBSCAN手順を提案。
• これらのグラフの連結成分を用いてクラスタツリー推定を定義し、密度レベル集合に基づくクラスタの階層を形成。
• 滑らかさを反映し、一貫性解析をより厳密に行える新しいδ-分離基準を導入。
• 任意の次数αに対するHölder滑らかさ仮定の下でクラスタツリー推定のミニマックスレートを導出。
• クラスタツリーの一貫性とL∞ノルムにおける密度推定の一貫性の等価性を確立。
• 提案手法が、L∞ノルムにおける密度推定のミニマックス最適レートに達することを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかな密度関数の下で、DBSCANはクラスタツリー推定においてレート最適な推定器として理論的に正当化可能か？
• RQ2 クラスタツリー推定のミニマックスレートは、基礎密度の滑らかさ（Hölderパラメータα）にどのように依存するか？
• RQ3 提案されたDBSCANベースの推定器は、L∞ノルムにおける最適密度推定と同等のミニマックスレートを達成するか？
• RQ4 理論的保証はジャンプ不連続性を有する密度関数に対しても拡張可能か？また、ジャンプサイズは収束速度にどのような役割を果たすか？
• RQ5 δ-分離基準は、滑らかさおよびクラスタ分離を捉える観点で、(ε,σ)-分離基準と比較してどのように優れているか？

主な発見

• 提案されたDBSCANベースのクラスタツリー推定器は、任意の次数αに対するHölder滑らかさを持つ密度関数に対して、ミニマックス最適レートを達成する。
• クラスタツリー推定のミニマックスレートは、L∞ノルムにおける密度推定のレートと一致しており、密度が滑らかになるほどクラスタリング性能が向上することを示唆する。
• ジャンプ不連続性を有する密度関数に対しては、DBSCANアルゴリズムがミニマックスレートに達しており、これはジャンプサイズおよび標本サイズに依存する。
• δ-分離基準は、特にα ≤ 1の場合に、滑らかさに配慮したより洗練されたクラスタ分離の概念を提供し、(ε,σ)-分離基準を上回る。
• 理論的分析により、DBSCAN手順は計算的にも効率的であり、統計的にも最適であることが確認され、マージ距離の一貫性がL∞ノルムにおける密度推定の一貫性と関連している。
• 本研究の結果は、滑らかさ仮定の下で最適性を確立することで、DBSCANの先行分析を補完・拡張し、広く用いられるこのアルゴリズムの理論的理解のギャップを解消する。