[논문 리뷰] Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|2016. 03. 28.

Advanced Statistical Methods and Models참고 문헌 37인용 수 27

한 줄 요약

이 논문은 k-최근접 이웃(k-NN) 거리 기반의 Kozachenko-Leonenko(KL) 엔트로피 추정기의 유한 표본 편향과 분산에 대한 경계를 제시한다. 일반적인 조건(유계가 아닌 분포 포함) 하에, 이 추정기는 매끄러운 밀도에 대해 최소최대 수렴 속도를 달성하며, 편향은 $O((k/n)^{eta/D})$로 스케일링되고 분산은 $O(1/n)$이다.

ABSTRACT

Estimating entropy and mutual information consistently is important for many machine learning applications. The Kozachenko-Leonenko (KL) estimator (Kozachenko & Leonenko, 1987) is a widely used nonparametric estimator for the entropy of multivariate continuous random variables, as well as the basis of the mutual information estimator of Kraskov et al. (2004), perhaps the most widely used estimator of mutual information in this setting. Despite the practical importance of these estimators, major theoretical questions regarding their finite-sample behavior remain open. This paper proves finite-sample bounds on the bias and variance of the KL estimator, showing that it achieves the minimax convergence rate for certain classes of smooth functions. In proving these bounds, we analyze finite-sample behavior of k-nearest neighbors (k-NN) distance statistics (on which the KL estimator is based). We derive concentration inequalities for k-NN distances and a general expectation bound for statistics of k-NN distances, which may be useful for other analyses of k-NN methods.

연구 동기 및 목표

• Kozachenko-Leonenko(KL) 엔트로피 추정기의 유한 표본 행동에 관한 열린 이론적 질문을 다루기 위해.
• 일반적인 분포 가정 하에 KL 추정기의 편향과 분산에 대한 엄밀한 유한 표본 경계를 유도하기 위해.
• 더 넓은 k-NN 방법에 적용 가능한 k-NN 거리에 대한 농도 부등식과 모멘트 경계를 개발하기 위해.
• 기존 결과를 보완하기 위해 강한 가정(예: 컴팩트 지지, 유계 밀도 부드러움)을 완화하기 위해.
• 광범위하게 사용되는 KSG 상호정보량 추정기 및 관련 기능량에 대한 이론적 기초를 제공하기 위해.

제안 방법

• 기저 측도와 확률 밀도를 갖는 일반적인 거리측도 공간에서 k-NN 거리를 분석한다.
• 밀도의 모멘트 경계와 尾 조건을 사용하여 k-NN 거리에 대한 농도 부등식을 유도한다.
• 로그형 k-NN 거리의 모멘트 경계를 설정하며, 분산 제어에 필수적인 음의 모멘트를 포함한다.
• Efron-Stein 부등식과 대수법칙을 적용하여 KL 추정기의 분산을 경계한다.
• 밀도의 허더링 연속성과 차원성 가정을 사용하여 $ (k/n)^{\beta/D} $ 스케일링을 갖는 편향 경계를 유도한다.
• 편향과 분산 경계를 통합하여 $ k $에 대해 최적화하는 평균 제곱오차 속도를 유도한다.

실험 결과

연구 질문

• RQ1 일반적인 부드러움과 尾 조건 하에 KL 엔트로피 추정기의 유한 표본 편향과 분산 경계는 무엇인가?
• RQ2 비콤팩트 또는 무한한 분포에서 k-NN 거리 통계량은 어떻게 행동하며, 어떤 모멘트 경계가 적용되는가?
• RQ3 콤팩트 지지나 유계 밀도를 가정하지 않고도 k-NN 거리에 대한 농도 부등식을 수립할 수 있는가?
• RQ4 KL 추정기는 미분 엔트로피 추정에서 최소최대 수렴 속도를 달성하는가?
• RQ5 이 이론적 프레임워크는 상호정보량과 발산 추정기로 확장될 수 있는가?

주요 결과

• KL 추정기의 편향은 $ O\big((k/n)^{\beta/D}\big) $ 이하로 경계되며, 여기서 $ \beta $는 허더링 연속성 파라미터이고 $ D $는 내재 차원이다.
• KL 추정기의 분산은 $ O(1/n) $ 이하로 경계되며, k-NN 이웃 수에 대한 기하학적 제약 조건 하에 보다 정밀한 경계 $ O(1/nk) $ 가 성립한다.
• 일반적인 $ \ell $-차 중앙 모멘트에 대해 로그형 k-NN 거리의 모멘트 경계가 확립되었으며, $ \ell! / \lambda^\ell $ 를 통한 지수 꼬리 제어가 가능하다.
• KL 추정기의 평균 제곱오차는 최소최대 속도 $ O\big((k/n)^{2\beta/D} + 1/nk\big) $ 를 달성하며, 최적의 $ k \asymp n^{\max\{0, (2\beta - D)/(2\beta + D)\}} $ 가 성립한다.
• 콤팩트 지지 가정을 완화하기 위해 약한 꼬리 및 밀도 정규성 조건 하에 결과는 무한 분포에도 적용 가능하다.
• 분석은 KSG 상호정보량 추정기의 이론적 기초를 제공하며, 레니 및 초스 엔트로피로 일반화 가능하다.