[논문 리뷰] Demystifying Fixed k-Nearest Neighbor Information Estimators

Weihao Gao, Sewoong Oh외 1명|arXiv (Cornell University)|2016. 04. 11.

Statistical Methods and Inference참고 문헌 66인용 수 16

한 줄 요약

이 논문은 널리 사용되는 KSG 고정-k 최근접 이웃 상호정보량 추정기의 이론적 일致성과 수렴 속도를 확립하며, 표본 크기가 증가함에 따라 그 편향이 사라짐을 증명한다. 또한 KSG의 뛰어난 성능을 뒷받기는 '상관계수 강화' 메커니즘을 규명하고, 더 타이트한 이론적 보장을 갖추고 유한 표본 정확도가 향상된 새로운 BI-KSG 추정기를 제안한다.

ABSTRACT

Estimating mutual information from i.i.d. samples drawn from an unknown joint density function is a basic statistical problem of broad interest with multitudinous applications. The most popular estimator is one proposed by Kraskov and Stögbauer and Grassberger (KSG) in 2004, and is nonparametric and based on the distances of each sample to its $k^{ m th}$ nearest neighboring sample, where $k$ is a fixed small integer. Despite its widespread use (part of scientific software packages), theoretical properties of this estimator have been largely unexplored. In this paper we demonstrate that the estimator is consistent and also identify an upper bound on the rate of convergence of the bias as a function of number of samples. We argue that the superior performance benefits of the KSG estimator stems from a curious "correlation boosting" effect and build on this intuition to modify the KSG estimator in novel ways to construct a superior estimator. As a byproduct of our investigations, we obtain nearly tight rates of convergence of the $\ell_2$ error of the well known fixed $k$ nearest neighbor estimator of differential entropy by Kozachenko and Leonenko.

연구 동기 및 목표

• KSG 고정-k 최근접 이웃 상호정보량 추정기의 이론적 일치성과 수렴 속도를 확립하는 것. 이는 널리 사용되지만 엄밀한 이론적 기반을 갖추지 못한 상태였다.
• 고차원 환경에서 3KL 추정기보다 KSG 추정기가 경험적으로 뛰어난 성능을 보이는 이유를 규명하는 것.
• KSG 방법에서 규명된 '상관계수 강화' 효과를 강화하여 더 나은 편향-분산 무게 조정을 달성하고자, BI-KSG라는 새로운 추정기를 개발하는 것.
• 고정-k 최근접 이웃 추정기의 미분 엔트로피 추정에 대해 거의 타이트한 $β$-노름 수렴 속도를 유도하는 것. 이는 Kozachenko와 Leonenko의 이전 결과를 확장한 것이다.
• 비모수 정보 추정기의 고차원 유클리드 공간에서의 거동을 이해하기 위한 엄밀한 이론적 프레임워크를 제공하는 것.

제안 방법

• KSG 추정기를 분석하기 위해 $k$-번째 최근접 이웃 거리를 조건부로 설정하고, 나머지 표본들을 더 작은, 동일한, 또는 더 큰 거리에 있는 집합으로 분할한다.
• 집합 불등식과 기하 확률을 사용하여, 연합 공간에서의 거리가 주어졌을 때 표본이 $X$-공간 내 특정 거리 이내에 있을 확률을 근사한다.
• 조건부로 $X$-이웃 수의 분포를 유도하며, 이 분포가 이항분포를 따른다는 것을 보인다.
• 이항분포로 분포된 이웃 수의 尾확률를 제어하여 KSG 추정기의 편향에 상한을 설정한다.
• 최적화된 거리 임계값 설정을 통해 상관계수 강화 효과를 향상시키도록 KSG 알고리즘을 수정함으로써 BI-KSG 추정기를 도입한다.
• 연합 밀도와 이웃 구조의 다중 척도 분석을 통해 표본 크기 $N$과 차원수 $d_x, d_y$에 따른 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 표본 수 $N \to \infty$일 때 KSG 추정기는 일관성을 보이는가?
• RQ2 KSG 추정기의 $\ell_2$ 오차 수렴 속도는 무엇이며, 이는 차원수에 어떻게 의존하는가?
• RQ3 고차원 환경에서 KSG 추정기가 3KL 추정기보다 실용적으로 뛰어난 성능을 보이는 이유는 무엇인가?
• RQ4 KSG에서 관찰된 '상관계수 강화' 효과는 정량적으로 이해하고 이를 바탕으로 더 나은 추정기를 설계할 수 있는가?
• RQ5 고정-k 최근접 이웃 추정기의 미분 엔트로피 추정에 대해 가능한 가장 타이트한 수렴 속도는 무엇인가?

주요 결과

• KSG 추정기는 일관성 있으며, 표본 수가 증가함에 따라 편향이 사라진다.
• 두 랜덤 변수의 차원수가 같거나 1 이하일 경우, KSG 추정기의 $\ell_2$ 오차는 $1/\sqrt{N}$ 속도로 수렴하며, 이는 파arametric 속도에 도달한다.
• KSG가 3KL보다 성능이 뛰어난 이유는 '상관계수 강화' 효과 덕분이며, 이는 변수 간의 의존성 구조를 더 효과적으로 활용하기 때문이다.
• 제안된 BI-KSG 추정기는 상관계수 강화 메커니즘을 강화하여 더 나은 유한 표본 성능과 더 타이트한 이론적 상한을 제공한다.
• 논문은 고정-k 최근접 이웃 추정기의 미분 엔트로피 추정에 대해 거의 타이트한 $\ell_2$ 오차 상한을 확립하며, Kozachenko와 Leonenko의 이전 결과를 개선한다.
• 분석 결과, KSG 추정기의 편향은 어떤 상수 $C_6 > 0$에 대해 $C_6 (\log N)^{3+\delta}/N$ 이하로 상한이 제시되며, 이 속도는 차원수와 로그 인자에 따라 달라진다.