[논문 리뷰] The Nearest Neighbor Information Estimator is Adaptively Near Minimax Rate-Optimal

Jiantao Jiao, Weihao Gao외 1명|arXiv (Cornell University)|2018. 01. 01.

Statistical Methods and Inference인용 수 21

한 줄 요약

이 논문은 토러스 위의 홀더 구간에서 Kozachenko–Leonenko (KL) 고정 k-최근접이웃 추정기의 미분 엔트로피 추정에 대해, 부드러움 매개수 s ∈ (0,2]의 지식이 없거나 밀도의 하한이 없는 가정이 없더라도, 로그 인자들을 제외한 최소최대 속도를 달성함을 입증한다. 이는 임의의 차원 d에서 모든 부드러움 수준에서 적응적으로 거의 최소최대 최적임이 증명된 첫 번째 추정기이다.

ABSTRACT

We analyze the Kozachenko–Leonenko (KL) fixed k-nearest neighbor estimator for the differential entropy. We obtain the first uniform upper bound on its performance for any fixed k over H\{o}lder balls on a torus without assuming any conditions on how close the density could be from zero. Accompanying a recent minimax lower bound over the H\{o}lder ball, we show that the KL estimator for any fixed k is achieving the minimax rates up to logarithmic factors without cognizance of the smoothness parameter s of the H\{o}lder ball for $s \in (0,2]$ and arbitrary dimension d, rendering it the first estimator that provably satisfies this property.

연구 동기 및 목표

• 비모수 밀도 추정에서 최근접이웃 엔트로피 추정기의 적응성에 대한 이해 격차를 메우기 위해.
• 밀도가 0으로부터 멀리 떨어져 있다는 가정 없이 홀더 구간에서 KL 추정기 성능에 대한 균일한 상한을 수립하기 위해.
• KL 추정기가 모든 부드러움 수준 s ∈ (0,2] 및 차원 d에서 최소최대 속도를 로그 인자들 이외의 요소로 달성함을 보여주기 위해.
• 이 비모수 설정에서 차원에 관계없이 증명된 바 있는 적응적, 거의 최소최대 최적 속도를 갖는 첫 번째 추정기 제공하기 위해.

제안 방법

• 분석은 고정된 k에 대해 토러스 위의 홀더 구간에서 KL 추정기의 위험에 대한 균일한 상한을 활용한다.
• 밀도의 하한에 대한 가정을 피함으로써, 밀도가 0에 수렴하는 경우에도 분석이 가능해진다.
• 최근의 홀더 구간에 대한 최소최대 하한을 활용하여 상한의 날카러움을 입증한다.
• k-NN의 구조에 맞추어 조정된 기하 확률 및 농도 기반 증명 기법을 결합한다.
• 부드러움 s, 차원 d, 고정된 k 매개수 간의 상호작용을 고려한다.
• 상한에 포함된 로그 인자들이 알려진 최소최대 하한과 일치함을 보여, 거의 최적성의 확인을 한다.

실험 결과

연구 질문

• RQ1 KL k-NN 추정기가 부드러움 매개수 s를 사전에 알지 못한 채 홀더 구간에서의 미분 엔트로피 추정에 대해 최소최대 속도를 달성할 수 있는가?
• RQ2 밀도가 0에 수렴할 때, 밀도 하한에 대한 가정 없이도 KL 추정기는 거의 최소최대 성능을 유지하는가?
• RQ3 KL 추정기는 모든 부드러움 수준 s ∈ (0,2] 및 임의의 차원 d에서 적응적으로 최적인가?
• RQ4 상한에 포함된 로그 인자들이 이 추정 문제에 대한 알려진 최소최대 하한과 어떻게 비교되는가?
• RQ5 s에 따라 k를 조정하지 않고도 고정된 k를 갖는 최근접이웃 추정기가 증명된 바 거의 최소최대 최적일 수 있는가?

주요 결과

• 밀도가 0으로부터 멀리 떨어져 있다는 가정 없이도, 고정된 k에 대해 토러스 위의 홀더 구간에서 KL 추정기는 위험에 대한 균일한 상한을 달성한다.
• 상한은 알려진 최소최대 하한과 로그 인자들 이외에는 일치하므로, 거의 최소최대 최적성임을 확인한다.
• KL 추정기는 모든 부드러움 수준 s ∈ (0,2] 및 임의의 차원 d에서 적응적으로 거의 최소최대 최적이다.
• s의 지식이 필요 없기에 이 설정에서 처음으로 그러한 증명된 적응적 추정기이다.
• 분석은 KL 추정기의 성능이 밀도가 사라지는 데에도 강건함을 입증하며, 이는 핵심적인 기술적 진전이다.
• 상한에 포함된 로그 인자들은 최소최대 하한과 일치하므로 날카로움이 확인된다.