[論文レビュー] Uniform Convergence Rate of the Kernel Density Estimator Adaptive to Intrinsic Volume Dimension

Jisu Kim, Jaehyeok Shin+2 more|arXiv (Cornell University)|Oct 13, 2018

Topological and Geometric Data Analysis参考文献 33被引用数 13

ひとこと要約

本稿では、収縮する球内の確率質量の減少率に基づく、内挿次元の新しい測度であるボリューム次元を導入し、バンド幅選択に関するカーネル密度推定器（KDE）の一様収束境界を導出する。有限標本における集中不等式を確立し、データの内挿幾何に適応する。有界密度や滑らかな多様体に対して既知の収束率を回復する一方で、非有界密度や混合次元のサポートに対しても拡張する。

ABSTRACT

We derive concentration inequalities for the supremum norm of the difference between a kernel density estimator (KDE) and its point-wise expectation that hold uniformly over the selection of the bandwidth and under weaker conditions on the kernel and the data generating distribution than previously used in the literature. We first propose a novel concept, called the volume dimension, to measure the intrinsic dimension of the support of a probability distribution based on the rates of decay of the probability of vanishing Euclidean balls. Our bounds depend on the volume dimension and generalize the existing bounds derived in the literature. In particular, when the data-generating distribution has a bounded Lebesgue density or is supported on a sufficiently well-behaved lower-dimensional manifold, our bound recovers the same convergence rate depending on the intrinsic dimension of the support as ones known in the literature. At the same time, our results apply to more general cases, such as the ones of distribution with unbounded densities or supported on a mixture of manifolds with different dimensions. Analogous bounds are derived for the derivative of the KDE, of any order. Our results are generally applicable but are especially useful for problems in geometric inference and topological data analysis, including level set estimation, density-based clustering, modal clustering and mode hunting, ridge estimation and persistent homology.

研究の動機と目的

• データ生成分布の内挿次元に適応するKDEのための一様収束境界が不足しているという問題に取り組む。
• ユークリッド球内の確率の減少率を特徴付ける、内挿次元の新しい測度「ボリューム次元」を考案する。
• バンド幅選択に一様に成立する、KDEの期待値からの偏差の上限ノルムに関する有限標本における集中不等式を導出する。
• KDEの任意の順序の導関数に対しても境界を拡張し、トポロジカルデータ解析や幾何的推論への応用を可能にする。
• 従来の収束結果を、非有界密度や異なる次元の多様体の混合にサポートされる分布を含むより広いクラスに一般化する。

提案手法

• ボリューム次元 $ d_{\mathrm{vol}} $ を、$ \limsup_{r \to 0} \sup_{x \in \mathbb{X}} \frac{P(\mathbb{B}_{\mathbb{R}^d}(x,r))}{r^\nu} < \infty $ を満たす $ \nu $ の上界として定義し、確率の減少率によって内挿次元を捉える。
• 経験過程理論と被覆数の境界を用いて、$ l_n \to 0 $ のもとで、上限偏差 $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| $ を制御する。
• メトリックエントロピーと対称化技術を適用し、カーネル関数クラスの被覆数を境界づける。この際、エントロピー積分にボリューム次元を統合する。
• 有限標本における集中不等式を確立：確率 $ 1 - \delta $ 以上で、 $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| \leq C \sqrt{ \frac{ (\log(1/l_n))_+ + \log(2/\delta) }{ n l_n^{2d - d_{\mathrm{vol}} + \epsilon} } } $ が成り立つ。ただし $ \epsilon \in (0, d_{\mathrm{vol}}) $。
• 正規化された導関数カーネルクラスを定義し、その被覆数と $ L_2 $-ノルムを境界づけることにより、KDEの導関数 $ D^s \hat{p}_h $ の分析を拡張する。
• 導関数の偏差に対する境界を導出：$ \sup_x |D^s \hat{p}_h(x) - D^s p_h(x)| \leq C'' \sqrt{ \frac{ (\log(1/h_n))_+ + \log(2/\delta) }{ n h_n^{2d + 2|s| - d_{\mathrm{vol}} + \epsilon} } } $。$ d_{\mathrm{vol}} = 0 $ の場合、$ \epsilon $ はゼロでもよい。

実験結果

リサーチクエスチョン

• RQ1 小球内の確率の減少率を反映するように、確率分布の内挿次元をどのように測定できるか？
• RQ2 データの内挿次元に適応するKDEの一様収束境界を、環境次元ではなく内挿次元に基づいて導出できるか？
• RQ3 元の分布が非有界密度をもつ、あるいは異なる次元の多様体の混合にサポートされる場合、KDEの有限標本収束速度はどのようになるか？
• RQ4 KDEの導関数の収束速度は、サポートの内挿幾何にどのように依存するか？
• RQ5 バンド幅の選択に一様に成立する境界を導出できるか。これにより、適応的バンド幅KDEの解析が可能になるか？

主な発見

• ボリューム次元 $ d_{\mathrm{vol}} $ は、消失するユークリッド球内の確率の臨界減少率として定義され、内挿次元の幾何的測度を提供する。
• 本稿では有限標本における一様境界を確立：確率 $ 1 - \delta $ 以上で、 $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| \leq C \sqrt{ \frac{ (\log(1/l_n))_+ + \log(2/\delta) }{ n l_n^{2d - d_{\mathrm{vol}} + \epsilon} } } $ が任意の $ \epsilon \in (0, d_{\mathrm{vol}}) $ に対して成り立つ。
• データ分布がLebesgue密度が有界であるか、良好に振る舞う低次元多様体にサポートされる場合、境界は既知の収束率 $ O(n^{-1/2} h^{d/2}) $ を回復するが、今や $ d $ の代わりに $ d_{\mathrm{vol}} $ が使われる。
• 境界はKDEの導関数に対しても拡張可能：任意の順序 $ s $ に対して、偏差 $ \sup_x |D^s \hat{p}_h(x) - D^s p_h(x)| $ は $ C'' \sqrt{ \frac{ (\log(1/h_n))_+ + \log(2/\delta) }{ n h_n^{2d + 2|s| - d_{\mathrm{vol}} + \epsilon} } } $ で境界づけられる。
• 従来の境界が失敗する、非有界密度や異なる次元の多様体の和集合にサポートされるより一般的な分布に対しても、結果は適用可能である。
• 導関数の境界における定数 $ C'' $ は、$ R, M_K, \|D^s K\|_\infty, d, d_{\mathrm{vol}}, C_{s,P,K,\epsilon}, \epsilon $ のみに依存し、$ n $ や $ h_n $ とは無関係であるため、一様に適用可能である。