[논문 리뷰] Minimax Estimation of KL Divergence between Discrete Distributions.

Yanjun Han, Jiantao Jiao외 1명|arXiv (Cornell University)|2016. 05. 30.

Statistical Methods and Inference참고 문헌 16인용 수 9

한 줄 요약

이 논문은 큰 알파벳 기반 환경에서 두 개의 이산 분포 간의 KL 발산에 대해 최소 최대 비율 최적의 추정기를 제안한다. 고도로 발전된 근사 방법론을 활용하여, n ln n 개의 표본을 사용할 때 최대우도추정법(MLE)과 동일한 성능을 달성한다. 이 추정기는 적응형이며, 지지 크기나 우도 비율의 상한에 대한 사전 지식이 필요로 하지 않으며, 효과적인 표본 크기 증대 현상이 이전에 알려진 것보다 더 넓은 범위로 적용된다는 것을 보여준다.

ABSTRACT

We consider the problem of estimating the KL divergence between two discrete probability measures $P$ and $Q$ from empirical data in a non-asymptotic and possibly large alphabet setting. We construct minimax rate-optimal estimators for $D(P\|Q)$ when the likelihood ratio is upper bounded by a constant which may depend on the support size, and show that the performance of the optimal estimator with $n$ samples is essentially that of the Maximum Likelihood Estimator (MLE) with $n\ln n$ samples. Our estimator is adaptive in the sense that it does not require the knowledge of the support size or the upper bound on the likelihood ratio. Our approach refines the \emph{Approximation} methodology recently developed for the construction of near minimax estimators of functionals of high-dimensional parameters, such as entropy, R\'enyi entropy, mutual information and $\ell_1$ distance in large alphabet settings, and shows that the \emph{effective sample size enlargement} phenomenon holds significantly more widely than previously established.

연구 동기 및 목표

• 큰 알파벳 기반 설정에서 이산 분포 간의 KL 발산에 대해 비점근적이고 최소 최대 비율 최적의 추정기를 개발하는 것.
• KL 발산 추정에 있어 효과적인 표본 크기가 ln n 배로 증가하는 조건을 규명하는 것. 이는 MLE 성능이 n ln n 개의 표본을 사용할 때 달성됨을 의미한다.
• 지지 크기나 우도 비율 상한에 대한 사전 지식 없이도 추정기가 알려진 정보에 적응하도록 구성하는 것.
• 이전에 엔트로피와 상호정보량에 대해 사용된 근사 방법론을 KL 발산으로 확장하여, 그 보다 넓은 적용 가능성을 확인하는 것.

제안 방법

• 이 방법은 고차원 함수량에 특화된 정교한 근사 프레임워크를 활용하여, 특히 KL 발산 추정에 적합하게 조정된 것이다.
• 유계 제약 조건 하에서의 경험적 우도 비율을 활용하여 편향 보정 추정기를 도입한다.
• 비점근적 분석을 통해 최소 최대 위험 한계를 유도함으로써, 클래스 내 모든 분포에 대해 최적의 성능을 보장한다.
• 지지 크기나 우도 비율 상한에 대한 명시적 의존성을 피하는 방식으로 추정기를 적응형으로 구성한다.
• 추정 오차를 통제하기 위해 농도 부등식과 경험 과정 기법을 사용하여 이론적 보장을 도출한다.
• 기존의 근사 기반 방법을 일반화하여, 증명 가능한 최적성과 함께 KL 발산으로의 확장을 이루었다.

실험 결과

연구 질문

• RQ1 비점근적이고 큰 알파벳 기반 설정에서 KL 발산에 대해 최소 최대 비율 최적의 추정기를 구성할 수 있는가?
• RQ2 이전에 엔트로피와 상호정보량에서 관찰된 효과적인 표본 크기 증대 현상이 KL 발산으로까지 확장되는가?
• RQ3 이러한 추정기가 알려지지 않은 지지 크기와 우도 비율 상한에 대해 적응형으로 구성될 수 있는가?
• RQ4 기존의 다른 함수량에 대해 사용된 근사 방법론이 KL 발산에 대해서도 최적의 결과를 도출하는가?

주요 결과

• 제안된 추정기는 유계 우도 비율 제약 조건 하에서 KL 발산에 대해 최소 최대 위험 최적성을 달성한다.
• 표본 수가 n개뿐이어도, n ln n 개의 표본을 사용할 때 MLE와 점근적으로 동일한 성능을 보인다.
• 이 방법은 적응형이어서 지지 크기나 우도 비율 상한에 대한 사전 지식이 필요로 하지 않는다.
• 효과적인 표본 크기 증대 현상은 KL 발산에 대해서도 성립함을 확인하였으며, 이는 엔트로피와 상호정보량을 넘어서 보다 넓은 적용 가능성을 시사한다.