[論文レビュー] Optimal Rates for Cluster Tree Estimation using Kernel Density Estimators

Daren Wang, Xinyang Lu+1 more|arXiv (Cornell University)|Jun 9, 2017

Statistical Methods and Inference被引用数 4

ひとこと要約

この論文は、ホルダー滑らかさ仮定の下で、カーネル密度推定を用いた確率密度のクラスターツリー推定におけるミニマックス最適レートを確立する。滑らかさ度 α に適合した帯域幅選択に基づくレート最適推定器を提案し、α ≤ 1 または密度がモース型で α = 2 の場合、DBSCAN が最適レートを達成することを示す。

ABSTRACT

We study the problem of optimal estimation of the density cluster tree under various assumptions on the underlying density. Following up on the seminal work of Chaudhuri et al, we formulate a new notion of clustering consistency which is better suited to smooth densites, and derive minimax rates of consistency for cluster tree estimation for H\{o}lder smooth density of arbitary degree $\alpha$. Our rates depend explicitly in the degree of smoothness of the density and match minimax rates for density estimation under the supremum norm. We exhibit a rate optimal cluster tree estimator, which is derived from a kernel density estimator with an appropaiete choice of the kernel and the bandwidth, assuming knowledge of $\alpha$. We also show that the computationally efficient DBSCAN algorithm achieves the optimal rate for clustering when $\alpha\le 1$ and that a simple variant of the DBSCAN algorithm, is also optimal when the density is Morse and $\alpha =2 $. We also derive minimax rates for estimaing the level sets of density with jump discontinuities of prescribed size and demonstrate that a DBSCAN-based algorithm is also rate optimal for this problem.

研究の動機と目的

• 滑らかな密度に適したクラスタリング一貫性の新しい定式化を目的とする。
• 任意の次数 α におけるホルダー滑らかさの下でのクラスターツリー推定のミニマックスレートを導出すること。
• 最適カーネルおよび帯域幅選択を用いたカーネル密度推定によるレート最適クラスターツリー推定器の構築。
• 特定の滑らかさおよび構造的仮定の下で、DBSCAN 及びその変種の性能を分析すること。
• 密度にジャンプ不連続性を有する場合のレベル集合推定へのミニマックス解析の拡張。

提案手法

• 基礎的な密度の滑らかさを考慮したクラスタリング一貫性の新しい定義を導入する。
• ホルダー滑らかさ度 α の下でのクラスターツリー推定のミニマックス下界を導出する。
• 滑らかさ度 α に依存する関数として帯域幅を設定したカーネル密度推定器を構築し、最適収束レートを達成する。
• 最適推定器が、上界ノルム下での密度推定のミニマックスレートと一致することを示す。
• 滑らかさおよびモース条件の仮定の下で DBSCAN 及びその変種を分析し、レート最適性を示す。
• 同じミニマックスフレームワークを、不連続密度を有するレベル集合推定に適用し、DBSCAN を用いた手法がレート最適であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ホルダー滑らかさ度 α の下で、クラスターツリー推定の最適収束レートは何か？
• RQ2 提案されたクラスタリング一貫性の概念は、滑らかな密度に対して従来の定義よりもどのように改善されているか？
• RQ3 DBSCAN は滑らかさ条件の下でクラスターツリー推定のミニマックス最適レートを達成できるか？
• RQ4 ジャンプ不連続性を有する密度のレベル集合推定のミニマックスレートは何か？
• RQ5 密度の構造（例：モース条件）は、クラスターツリー推定における DBSCAN の最適性にどのように影響するか？

主な発見

• クラスターツリー推定のミニマックスレートは、上界ノルム下での密度推定のミニマックスレートと一致し、ホルダー滑らかさ度 α に明示的な依存関係を示す。
• 滑らかさ度 α が既知の場合、帯域幅が n^{-1/(2α+d)} に比例するカーネル密度推定器が最適レートを達成する。
• 密度がホルダー滑らかさを有し α ≤ 1 である場合、DBSCAN はクラスターツリー推定の最適レートを達成する。
• 密度がモース型で α = 2 である場合、修正された DBSCAN 変種が最適レートを達成する。
• ジャンプ不連続性を有する密度のレベル集合推定のミニマックスレートが導出され、DBSCAN を用いたアルゴリズムがレート最適であることが示された。
• 提案されたクラスタリング一貫性の概念は、従来の定義よりも滑らかな密度に適しており、より緊密なレート解析を可能にする。