[論文レビュー] Density Level Set Estimation on Manifolds with DBSCAN

Heinrich Jiang|arXiv (Cornell University)|Mar 10, 2017

Statistical Methods and Inference参考文献 25被引用数 11

ひとこと要約

本稿は、多様体上に分布するデータに対するDBSCANの密度レベル集合推定に関する理論的分析を初めて確立し、データが$d$次元多様体上に存在する場合、最適なハウスドルフ誤差率$\widetilde{O}(n^{-1/(2\beta + d \cdot \max\{1,\beta\})})$を達成することを示している。これは、対数要因を除いて既知のミニマックス下界と一致する。さらに、未知の内在次元、滑らかさ、密度レベルを事前知識なしに適応的に推定する完全にデータ駆動型のパrameterチューニング手順を提供する。

ABSTRACT

We show that DBSCAN can estimate the connected components of the $λ$-density level set $\{ x : f(x) \ge λ\}$ given $n$ i.i.d. samples from an unknown density $f$. We characterize the regularity of the level set boundaries using parameter $β> 0$ and analyze the estimation error under the Hausdorff metric. When the data lies in $\mathbb{R}^D$ we obtain a rate of $\widetilde{O}(n^{-1/(2β+ D)})$, which matches known lower bounds up to logarithmic factors. When the data lies on an embedded unknown $d$-dimensional manifold in $\mathbb{R}^D$, then we obtain a rate of $\widetilde{O}(n^{-1/(2β+ d\cdot \max\{1, β\})})$. Finally, we provide adaptive parameter tuning in order to attain these rates with no a priori knowledge of the intrinsic dimension, density, or $β$.

研究の動機と目的

• 密度レベル集合$\{x: f(x) \geq \lambda\}$の連結成分を推定するDBSCANの最初の理論的分析を提供すること。
• 特に多様体埋め込みデータの下でハウスドルフ距離に基づく推定誤差を特徴づけること。
• 高次元および低次元多様体設定下でのDBSCANの最適収束レートを導出すること。
• 未知の$\beta$, $d$, $\lambda$を前提としない、完全に適応的なDBSCANパrameterチューニング戦略を構築すること。
• 理論的保証と実用的有用性を結びつけるために、DBSCANがレベル集合推定において最先端の一貫性結果を達成できることを示すこと。

提案手法

• $\varepsilon$-近傍グラフを基盤とし、$k$-最近傍グラフ解析の技術を$\varepsilon$-グラフに適応する。
• 多様体仮定の下での新しい$k$-NN密度推定バウンドを導入し、Dasgupta & Kpotufe (2014) の結果を低次元多様体へ拡張する。
• レベル集合境界の$\beta$-正則性を用いて幾何的複雑性を制御し、誤差バウンドを導出する。
• 密度推定バウンドと多様体上での幾何的集中性の組み合わせにより、ハウスドルフ誤差レートを導出する。
• データ駆動型のチューニングルールを提案し、$\text{minPts}$と$\varepsilon$を$ k = \lfloor (\log n)^5 \rfloor $および適応的$r = 1/\sqrt{\log n}$を用いて$\beta$と$d$を推定する。
• 2段階手順を用いる：まず$\beta$と内在次元$d$を推定し、その後それに応じて$\text{minPts}$と$\varepsilon$を設定して最適レートを達成する。

実験結果

リサーチクエスチョン

• RQ1 低次元多様体に埋め込まれた$\mathbb{R}^D$上に存在するデータに対して、DBSCANは$\lambda$-密度レベル集合の連結成分を一貫して推定できるか？
• RQ2 データが$d$次元多様体上に存在する場合、ハウスドルフ誤差におけるDBSCANの最適収束レートは何か？
• RQ3 未知の$\beta$, $d$, $\lambda$を前提としない、最適レートを達成する完全に適応的なDBSCANパrameterチューニング手順を設計できるか？
• RQ4 多様体設定下で、DBSCANの推定レートは既知のミニマックス下界とどのように比較できるか？
• RQ5 レベル集合境界の$\beta$-正則性仮定は、ハウスドルフ距離下で最適レートを導出するのに十分か？

主な発見

• 全次元$\mathbb{R}^D$設定下では、DBSCANはハウスドルフ推定レート$\widetilde{O}(n^{-1/(2\beta + D)})$を達成し、既知のミニマックス下界と対数要因を除いて一致する。
• データが$d$次元多様体上に存在する場合、DBSCANはレート$\widetilde{O}(n^{-1/(2\beta + d \cdot \max\{1,\beta\}})})$を達成し、$0 < \beta \leq 1$の下で既知の$d$次元下界と対数要因を除いて一致する。
• 本稿は、$k \approx (\log n)^5$および$r = 1/\sqrt{\log n}$を用いて$\text{minPts}$と$\varepsilon$を適応的に選択するデータ駆動型チューニング手順を提供し、$\beta$, $d$, $\lambda$の事前知識なしに最適レートを達成可能である。
• この手法により、真の連結成分$\mathcal{C}_\lambda$と推定成分$\widehat{\mathcal{C}}_\lambda$との間に高い確率で一対一対応が保証される。
• 解析から、多様体上での$k$-NN密度推定器の誤差が、$\beta > 1$の状況では$\widetilde{O}(n^{-1/(2+d)})$に制限され、一部の状況で潜在的な非最適性を示唆する。
• 理論的枠組みにより、実用的アルゴリズムであるDBSCANが、ハウスドルフ距離下での密度レベル集合推定において、現在知られている最も強い一貫性結果を達成することが確立された。