[논문 리뷰] Efficient multivariate entropy estimation via $k$-nearest neighbour distances

Thomas B. Berrett, Richard J. Samworth외 1명|arXiv (Cornell University)|2016. 06. 01.

Statistical Methods and Inference참고 문헌 18인용 수 15

한 줄 요약

이 논문은 임의의 차원에서 주어진 차원에서의 비효율성 문제를 해결하기 위해 최적의 가중치 선택을 통해 주요 편향 항을 상쇄시킴으로써 점점 더 효율적인 다변량 미분 엔트로피 추정기를 제안한다. 이 방법은 Kozachenko-Leonenko 추정기의 일반화로, 더 약한 매끄러움 조건과 유계가 아닌 지지집합에서도 효율적인 엔트로피 추정이 가능하며, 최소 너비를 갖는 점근적으로 타당한 신뢰구간을 제공한다.

ABSTRACT

Many statistical procedures, including goodness-of-fit tests and methods for independent component analysis, rely critically on the estimation of the entropy of a distribution. In this paper, we seek entropy estimators that are efficient and achieve the local asymptotic minimax lower bound with respect to squared error loss. To this end, we study weighted averages of the estimators originally proposed by Kozachenko and Leonenko (1987), based on the $k$-nearest neighbour distances of a sample of $n$ independent and identically distributed random vectors in $\mathbb{R}^d$. A careful choice of weights enables us to obtain an efficient estimator in arbitrary dimensions, given sufficient smoothness, while the original unweighted estimator is typically only efficient when $d \leq 3$. In addition to the new estimator proposed and theoretical understanding provided, our results facilitate the construction of asymptotically valid confidence intervals for the entropy of asymptotically minimal width.

연구 동기 및 목표

• 임의의 차원에서 다변량 분포에 대해 효율적이고 점근적으로 최적의 엔트로피 추정기를 개발하는 것.
• 비효율성 문제를 해결하기 위해 고차원에서 표준 Kozachenko-Leonenko 추정기가 갖는 비효율성(비영인 편향)을 해결하는 것 (d ≥ 4).
• 최소 너비를 갖는 점근적으로 타당한 엔트로피에 대한 신뢰구간을 구성하는 것.
• 이전 방법이 실패하는 조건인 밀도가 무한대 지지집합을 갖는 경우에도 효율적인 엔트로피 추정을 확장하는 것.

제안 방법

• 다른 k 값에 대한 k-최근접이웃 거리를 사용하여 Kozachenko-Leonenko 추정기의 가중 평균을 제안한다.
• 추정기의 점근 전개에서 주요 편향 항을 상쇄시키기 위해 최적의 가중치를 유도한다.
• 밀도 추정기 주위에서 엔트로피의 이차 테일러 전개를 사용하여 편향과 분산을 분석한다.
• 밀도와 그 도함수에 매끄러움 조건을 도입하여 점근 전개의 타당성을 보장한다.
• 점수 함수가 작은 영역에서 허들러 부등식과 테일러 급수 근사를 적용하여 오차 항을 제어한다.
• 정규 조건 하에서 국소 점근 최소자승 하한선에 수렴함을 보여 점근 정규성과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 가중치를 부여한 k-NN 추정기는 임의의 차원 d에 대해 점근적으로 효율적인가?
• RQ2 고차원 설정에서 주요 편향 항을 제거하는 데 적합한 k-NN 거리에 대한 가중치의 선택은 무엇인가?
• RQ3 밀도가 유계가 아닌 지지집합을 갖는 경우에도 제안된 추정기는 효율적인가? 이는 이전 방법과의 주요 차이점이다.
• RQ4 이 추정기를 사용하여 최소 너비를 갖는 점근적으로 타당한 신뢰구간을 구성할 수 있는가?
• RQ5 고차원에서 이 추정기의 성능은 비가중치 Kozachenko-Leonenko 추정기와 비교해 어떻게 되는가?

주요 결과

• 제안된 가중치를 부여한 k-NN 추정기는 비가중치 추정기와 달리 임의의 차원 d에서 점근적으로 효율적이다. 비가중치 추정기는 d ≤ 3에서만 효율적이다.
• 충분한 매끄러움 조건 하에서 추정기는 제곱오차 손실에 대해 국소 점근 최소자승 하한선에 도달한다.
• 이 방법은 엔트로피에 대해 최소 너비를 갖는 점근적으로 타당한 신뢰구간을 구성할 수 있게 해주며, 실용적 측면에서 중요한 이점이다.
• 밀도가 유계가 아닌 지지집합을 갖는 경우에도 추정기는 효율성을 유지한다. 이는 이전 연구가 유계 지지집합과 0에 가까운 밀도가 아닌 조건을 필요로 했던 점을 크게 확장한 것이다.
• 추정기의 점근 분포는 분산이 피셔 정보와 동일한 정규분포이며, 이는 효율성을 확인한다.
• 최적의 가중치는 주요 편향 항을 상쇄시키기 위해 해석적으로 유도되었으며, 약한 매끄러움 가정 하에서 그 존재성이 증명되었다.