[논문 리뷰] Order-Optimal Estimation of Functionals of Discrete Distributions.

Jiantao Jiao, Kartik Venkat외 1명|arXiv (Cornell University)|2014. 06. 26.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 알파벳 크기 $S$ 가 알려져 있지 않은 이산 분포의 기능에 대해 최소최대 최적 추정 프레임워크를 제안한다. 부드럽지 않은 기능에 대해서는 비편향 다항근사법을, 부드러운 기능에 대해서는 편향 보정 MLE를 사용한다. 순서 최적의 표본 복잡도—엔트로피에 대해 $n acksimeq S/\ln S$ 와 $F_\alpha$ 에 대해 $n acksimeq S^{1/\alpha}/\ln S$—를 확립하고, 추정기의 성능이 $n\ln n$ 개의 표본을 사용한 MLE와 동일함을 보여주며, 엔트로피와 상호정보량 추정에서 정확도와 속도를 크게 향상시킨다.

ABSTRACT

We propose a general methodology for the construction and analysis of minimax estimators for a wide class of functionals of finite dimensional parameters, and elaborate on the case of discrete distributions, where the alphabet size $S$ is unknown and may be comparable with the number of observations $n$. We treat the respective regions where the functional is nonsmooth and smooth separately. In the nonsmooth regime, we apply an unbiased estimator for the best polynomial approximation of the functional whereas, in the smooth regime, we apply a bias-corrected Maximum Likelihood Estimator (MLE). We illustrate the merit of this approach by thoroughly analyzing two important cases: the entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$ and $F_\alpha(P) = \sum_{i = 1}^S p_i^\alpha,\alpha>0$. We obtain the minimax $L_2$ rates for estimating these functionals. In particular, we demonstrate that our estimator achieves the optimal sample complexity $n \asymp S/\ln S$ for entropy estimation. We also show that the sample complexity for estimating $F_\alpha(P),0<\alpha<1$ is $n\asymp S^{1/\alpha}/ \ln S$, which can be achieved by our estimator but not the MLE. For $1<\alpha<3/2$, we show the minimax $L_2$ rate for estimating $F_\alpha(P)$ is $(n\ln n)^{-2(\alpha-1)}$ regardless of the alphabet size, while the $L_2$ rate for the MLE is $n^{-2(\alpha-1)}$. For all the above cases, the behavior of the minimax rate-optimal estimators with $n$ samples is essentially that of the MLE with $n\ln n$ samples. We highlight the practical advantages of our schemes for entropy and mutual information estimation. We demonstrate that our approach reduces running time and boosts the accuracy compared to existing various approaches. Moreover, we show that the mutual information estimator induced by our methodology leads to significant performance boosts over the Chow--Liu algorithm in learning graphical models.

연구 동기 및 목표

• 알파벳 크기 $S$ 가 알려져 있지 않은 이산 분포의 기능에 대한 최소최대 추정의 일반적 방법론을 개발하는 것.
• 표본 수 $n$ 과 유사한 크기의 $S$ 를 가진 경우 기능을 추정하는 데 도전하는 문제를 다루는 것.
• 엔트로피 $H(P)$ 와 $F_\alpha(P) = \sum p_i^\alpha$ 와 같은 주요 기능에 대해 최소최대 $L_2$ 비율을 도출하는 것.
• 제안된 추정기가 $n\ln n$ 개의 표본을 사용한 MLE와 동일한 성능을 달성함을 보여주어 계산 효율성과 정확도를 향상시키는 것.
• 그래프 모델 학습에서 찬-류 알고리즘에 비해 우수한 성능을 보이는 상호정보량 추정에 프레임워크를 적용하는 것.

제안 방법

• 부드럽지 않은 기능에 대해서는 기능의 최적 다항근사에 기반한 비편향 추정기 사용.
• 부드러운 기능에 대해서는 편향 보정 최대우도추정법(MLE) 적용.
• 추정 전략을 적절히 맞추기 위해 부드럽고 부드럽지 않은 영역으로 나누어 분석.
• 제안된 추정기의 이론적 분석을 통해 최소최대 $L_2$ 위험 경계 확립.
• 고차원 이산 분포에서 편향과 분산을 제어하기 위해 농도 이론과 근사 이론을 활용.
• 추정기의 $n$ 개의 표본을 사용한 행동이 $L_2$ 위험 측면에서 MLE가 $n\ln n$ 개의 표본을 사용한 것과 본질적으로 동일함을 보여주는 것.

실험 결과

연구 질문

• RQ1 알파벳 크기 $S$ 가 알려져 있지 않고 $n$ 과 유사한 경우 엔트로피 $H(P)$ 를 추정할 때의 최소최대 $L_2$ 비율은 무엇인가요?
• RQ2 $0 < \alpha < 1$ 인 $F_\alpha(P)$ 를 추정할 때 최소최대 최적성을 달성하기 위해 필요한 표본 복잡도는 무엇인가요?
• RQ3 $1 < \alpha < 3/2$ 인 $F_\alpha(P)$ 에 대해 제안된 추정기의 표본 효율성과 $L_2$ 위험 측면에서 MLE와의 성능 비교는 어떻게 되나요?
• RQ4 제안된 프레임워크는 찬-류 알고리즘에 비해 그래프 모델 학습에서 상호정보량 추정을 어떻게 향상시킬 수 있나요?
• RQ5 제안된 추정기가 $n\ln n$ 개의 표본을 사용한 MLE의 성능을 어느 정도 재현합니까?

주요 결과

• 제안된 추정기는 표본 복잡도 $n \asymp S / \ln S$ 를 통해 엔트로피 추정에서 최소최대 $L_2$ 비율을 달성한다.
• $0 < \alpha < 1$ 인 $F_\alpha(P)$ 에 대해 최소최대 비율은 $n \asymp S^{1/\alpha} / \ln S$ 를 통해 달성되며, 이 복잡도는 MLE로는 달성할 수 없다.
• $1 < \alpha < 3/2$ 인 $F_\alpha(P)$ 에 대해 최소최대 $L_2$ 비율은 $(n\ln n)^{-2(\alpha-1)}$ 이며, MLE는 오직 $n^{-2(\alpha-1)}$ 만을 달성한다.
• 제안된 추정기의 $n$ 개의 표본을 사용한 행동은 $L_2$ 위험 측면에서 MLE가 $n\ln n$ 개의 표본을 사용한 것과 본질적으로 동일하다.
• 기존 방법에 비해 엔트로피와 상호정보량 추정에서 실행 시간을 단축시키고 정확도를 높인다.
• 프레임워크에서 유도된 상호정보량 추정기는 그래프 모델 학습에서 찬-류 알고리즘에 비해 뚜렷이 뛰어난 성능을 보인다.