[논문 리뷰] On the Kozachenko-Leonenko entropy estimator

Nicolas Fournier, Sylvain Delattre|arXiv (Cornell University)|2016. 02. 24.

Statistical Methods and Inference참고 문헌 12인용 수 3

한 줄 요약

이 논문은 일반 차원에서 Kozachenko-Leonenko 엔트로피 추정기의 비점근적 분석을 제공하며, 그 편향과 분산을 유도한다. 1차원 및 2차원에서 중심극한정리(Central Limit Theorem)를 확립하고, 리치아르드슨 보간을 사용하여 임의의 차원에서 명시적인 점근적 신뢰구간을 갖는 편향 보정 추정기를 구축한다.

ABSTRACT

We study in details the bias and variance of the entropy estimator proposed by Kozachenko and Leonenko for a large class of densities on $\mathbb{R}^d$. We then use the work of Bickel and Breiman to prove a central limit theorem in dimensions $1$ and $2$. In higher dimensions, we provide a development of the bias in terms of powers of $N^{-2/d}$. This allows us to use a Richardson extrapolation to build, in any dimension, an estimator satisfying a central limit theorem and for which we can give some some explicit (asymptotic) confidence intervals.

연구 동기 및 목표

• 일반적인 밀도 함수에 대해 R^d 상에서 Kozachenko-Leonenko 엔트로피 추정기의 편향과 분산에 대한 상세한 점근적이지 않은 연구를 제공하는 것.
• Bickel과 Breiman의 프레임워크를 사용하여 1차원 및 2차원에서 추정기의 중심극한정리를 확립하는 것.
• 임의의 차원에 대해 N^{-2/d}의 형태로 표현된 고차 편향 전개를 개발하는 것.
• 리치아르드슨 보간을 통해 편향을 보정한 추정기를 구성하여, 임의의 차원에서 중심극한정리를 만족하고 명시적인 점근적 신뢰구간을 허용하는 것.

제안 방법

• 추정기는 $ H_N = \frac{1}{N+1}\sum_{i=1}^{N+1}\log Y^N_i + \gamma + \log v_d $ 로 정의되며, $ Y^N_i = N(R^N_i)^d $, 여기서 $ R^N_i $ 는 $ X_1, \dots, X_{N+1} $ 중에서 $ X_i $ 에 가장 가까운 이웃까지의 거리이다.
• 저자들은 $ X_i $ 를 조건으로 하여 $ Y^N_i $ 가 약간의 지수분포를 따르며, 비율이 $ v_d f(X_i) $ 임을 가정하는 히우리스틱 추론을 통해 $ H_N $ 의 일致성(consistency)을 정당화한다.
• 편향 분석을 위해, 밀도 $ f $ 에 대한 정규성 조건(다항식 및 지수 꼬리 포함) 하에서 $ N^{-2/d} $ 의 거듭제곱 전개를 유도한다.
• Bickel과 Breiman의 결과를 적용하여, $ \log f $ 와 $ \log^2 f $ 의 모멘트 조건 하에서 1차원 및 2차원에서 점근적 정규성을 증명한다.
• 높은 차원에서는 리치아르드슨 보간을 사용한다: 여러 샘플 크기에서 $ H_N $ 를 계산함으로써 주요 편향 항 $ c N^{-2/d} $ 를 제거하여 수렴 속도가 더 빠른 추정기를 얻는다.
• 최종적으로 보간된 추정기는 중심극한정리를 만족하며, 정규 근사에 기반하여 명시적인 점근적 신뢰구간을 제공할 수 있다.

실험 결과

연구 질문

• RQ1 임의의 차원에서 Kozachenko-Leonenko 엔트로피 추정기의 정밀한 편향 구조는 무엇인가?
• RQ2 1차원 및 2차원에서 추정기가 중심극한정리를 만족하는 조건은 무엇인가?
• RQ3 고차원에서 보간을 사용하여 추정기의 편향을 체계적으로 보정할 수 있는가?
• RQ4 편향 보정 후에 엔트로피 추정기의 명시적인 점근적 신뢰구간은 무엇인가?
• RQ5 밀도 $ f $ 의 정규성 및 꼬리 행동이 수렴 속도와 편향 전개에 어떤 영향을 미치는가?

주요 결과

• Kozachenko-Leonenko 추정기의 편향은 $ N^{-2/d} $ 에 대한 거듭제곱 전개를 갖으며, 주요 항은 $ c N^{-2/d} $ 이다. 이는 다항식 꼬리 및 지수 꼬리가 포함된 넓은 밀도 클래스에 대해 유효하다.
• 1차원 및 2차원에서, $ \log f $ 와 $ \log^2 f $ 의 모멘트 조건 하에서 Bickel과 Breiman의 프레임워크를 통해 중심극한정리가 성립함을 입증하였다.
• 3차원 이상의 차원에서는 원래 추정기의 중심극한정리가 편향 지배로 인해 성립하지 않지만, 리치아르드슨 보간을 통해 주요 편향 항을 제거할 수 있다.
• 보간된 추정기는 임의의 차원에서 $ \sqrt{N} $-일致성과 점근적 정규성을 확보하며, 명시적인 점근적 신뢰구간을 구성할 수 있다.
• 중량 꼬리 밀도(예: $ f(x) \sim |x|^{-a} e^{-|x|} $) 및 특이점이 있는 유한 밀도(예: 베타 유사 밀도)에 대해서도 적용 가능하며, 3차원 이상의 차원에서 정규성 매개변수 $ \tau $ 가 $ \tau \geq 2 $ 를 만족할 경우에 한해 적용 가능하다.
• 논문은 차원과 꼬리 행동에 따라 중심극한정리 적용 가능 조건을 제시하며, 특히 Corollary 7과 Corollary 9를 통해 명시적인 제약 조건을 제시한다. 이는 지수 $ a $ 와 차원 $ d $ 에 대한 제약 조건을 포함한다.