[논문 리뷰] Uniform Convergence Rate of the Kernel Density Estimator Adaptive to Intrinsic Volume Dimension

Jisu Kim, Jaehyeok Shin외 2명|arXiv (Cornell University)|2018. 10. 13.

Topological and Geometric Data Analysis참고 문헌 33인용 수 13

한 줄 요약

이 논문은 축소되는 구 안에서 확률 질량의 감쇠 속도에 기반한 내재 차원의 새로운 측도인 부피 차원(volume dimension)을 도입하여, 대역폭 선택에 대해 커널 밀도 추정기(KDEs)의 균일 수렴 경계를 도출한다. 유한 표본 농도 부등식을 수립하여 데이터의 내재 기하학적 특성에 적응하며, 유계 밀도나 매끄러운 다양체의 경우 기존에 알려진 수렴 속도를 회복하면서도 비유계 밀도 및 혼합 차원 지지역에까지 확장한다.

ABSTRACT

We derive concentration inequalities for the supremum norm of the difference between a kernel density estimator (KDE) and its point-wise expectation that hold uniformly over the selection of the bandwidth and under weaker conditions on the kernel and the data generating distribution than previously used in the literature. We first propose a novel concept, called the volume dimension, to measure the intrinsic dimension of the support of a probability distribution based on the rates of decay of the probability of vanishing Euclidean balls. Our bounds depend on the volume dimension and generalize the existing bounds derived in the literature. In particular, when the data-generating distribution has a bounded Lebesgue density or is supported on a sufficiently well-behaved lower-dimensional manifold, our bound recovers the same convergence rate depending on the intrinsic dimension of the support as ones known in the literature. At the same time, our results apply to more general cases, such as the ones of distribution with unbounded densities or supported on a mixture of manifolds with different dimensions. Analogous bounds are derived for the derivative of the KDE, of any order. Our results are generally applicable but are especially useful for problems in geometric inference and topological data analysis, including level set estimation, density-based clustering, modal clustering and mode hunting, ridge estimation and persistent homology.

연구 동기 및 목표

• 데이터 생성 분포의 내재 차원에 적응하는 균일 수렴 경계가 없는 문제를 해결한다.
• 작아지는 유클리드 구 안에서의 확률 감쇠 속도를 특성화하는 내재 차원의 새로운 측도인 부피 차원을 정의한다.
• 대역폭 선택에 대해 균일하게 성립하는 KDE의 기대값에서의 최대 노름 편차에 대한 유한 표본 농도 부등식을 유도한다.
• KDE의 임의의 차수까지의 도함수에 대한 경계를 확장하여 토폴로지 데이터 분석 및 기하학적 추론에의 적용을 가능하게 한다.
• 기존의 수렴 결과를 비유계 밀도 또는 다양한 차원의 다양체의 혼합으로 이루어진 지지역을 가진 분포의 더 넓은 클래스로 일반화한다.

제안 방법

• 부피 차원 $ d_{\mathrm{vol}} $를 $ \limsup_{r \to 0} \sup_{x \in \mathbb{X}} \frac{P(\mathbb{B}_{\mathbb{R}^d}(x,r))}{r^\nu} < \infty $ 를 만족하는 $ \nu $ 의 상한으로 정의하여, 확률 감쇠를 통해 내재 차원을 포착한다.
• 표본 과정 이론과 커버링 수 제약을 사용하여 $ l_n \to 0 $ 인 경우 $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| $ 의 최대 편차를 제어한다.
• 메트릭 엔트로피와 대칭화 기법을 적용하여 커널 함수 클래스의 커버링 수를 유한화하고, 엔트로피 적분에 부피 차원을 활용한다.
• 유한 표본 농도 부등식을 수립: 확률 $ 1 - \delta $ 이상으로, $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| \leq C \sqrt{ \frac{ (\log(1/l_n))_+ + \log(2/\delta) }{ n l_n^{2d - d_{\mathrm{vol}} + \epsilon} } } $, $ \epsilon \in (0, d_{\mathrm{vol}}) $.
• 정규화된 도함수 커널 클래스를 정의하고, 그들의 커버링 수와 $ L_2 $-노름을 제약하여 $ D^s \hat{p}_h $ 의 분석을 확장한다.
• 도함수 편차에 대한 경계를 유도: $ \sup_x |D^s \hat{p}_h(x) - D^s p_h(x)| \leq C'' \sqrt{ \frac{ (\log(1/h_n))_+ + \log(2/\delta) }{ n h_n^{2d + 2|s| - d_{\mathrm{vol}} + \epsilon} } } $, $ \epsilon $ 는 $ d_{\mathrm{vol}} = 0 $ 이면 0일 수 있음.

실험 결과

연구 질문

• RQ1 작은 구 안에서의 확률 감쇠 속도를 반영하는 방식으로 확률 분포의 내재 차원을 어떻게 측정할 수 있는가?
• RQ2 주어진 데이터의 내재 차원에 적응하는 KDE에 대해 균일 수렴 경계를 도출할 수 있는가, 주로 임베딩 차원이 아닌 내재 차원에 기반하여?
• RQ3 기본 분포가 비유계 밀도 또는 서로 다른 차원의 다양체의 혼합으로 이루어진 경우, KDE의 유한 표본 수렴 속도는 어떻게 되는가?
• RQ4 KDE 도함수의 수렴 속도는 지지역의 내재 기하학적 특성에 어떻게 의존하는가?
• RQ5 경계를 대역폭 선택에 대해 균일하게 만들 수 있는가, 이를 통해 적응형 대역폭 KDE의 분석이 가능하게 하는가?

주요 결과

• 부피 차원 $ d_{\mathrm{vol}} $ 는 점점 작아지는 유클리드 구의 확률 감쇠 속도의 임계 비율로 정의되며, 내재 차원의 기하학적 측도를 제공한다.
• 논문은 유한 표본 균일 경계를 수립한다: 확률 $ 1 - \delta $ 이상으로, $ \sup_{h \geq l_n, x \in \mathbb{X}} |\hat{p}_h(x) - p_h(x)| \leq C \sqrt{ \frac{ (\log(1/l_n))_+ + \log(2/\delta) }{ n l_n^{2d - d_{\mathrm{vol}} + \epsilon} } } $, 임의의 $ \epsilon \in (0, d_{\mathrm{vol}}) $.
• 데이터 분포가 유계 르베그 밀도를 가지거나 잘 정의된 낮은 차원의 다양체 위에 지지되어 있을 경우, 이 경계는 기존에 알려진 수렴 속도 $ O(n^{-1/2} h^{d/2}) $ 를 회복하지만, 이제는 $ d $ 가 아닌 $ d_{\mathrm{vol}} $ 으로 대체된다.
• 경계는 KDE의 도함수로 확장된다: 임의의 차수 $ s $ 에 대해 편차 $ \sup_x |D^s \hat{p}_h(x) - D^s p_h(x)| $ 는 $ C'' \sqrt{ \frac{ (\log(1/h_n))_+ + \log(2/\delta) }{ n h_n^{2d + 2|s| - d_{\mathrm{vol}} + \epsilon} } } $ 로 유계화된다.
• 결과는 비유계 밀도 또는 서로 다른 차원의 다양체의 합집합 위에 지지된 더 일반적인 분포에 적용되며, 이전 경계는 실패한다.
• 도함수 경계의 상수 $ C'' $ 는 $ R, M_K, \|D^s K\|_\infty, d, d_{\mathrm{vol}}, C_{s,P,K,\epsilon}, \epsilon $ 에만 의존하며, $ n $ 과 $ h_n $ 과는 무관하여 균일한 적용이 보장된다.