[논문 리뷰] Maximum Likelihood Estimation of Functionals of Discrete Distributions

Jiantao Jiao, Kartik Venkat외 2명|arXiv (Cornell University)|2014. 06. 26.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 이산 분포의 기능에 대한 최대우도추정량(MLE)의 비점근적 분석을 제공하며, 샤논 엔트로피와 힘의 합을 중심으로 다룬다. 농도 불등식과 양의 선형 연산자를 통한 근사 이론을 조합하여 최악의 제곱오차 위험에 대한 날카운 경계를 확립하며, 고차원 설정에서 MLE가 엄밀히 최적보다 열 劣하다는 것을 보이고, 최소최대 최적 추정량과의 샘플 복잡도 격차를 규명한다.

ABSTRACT

We consider the problem of estimating functionals of discrete distributions, and focus on tight nonasymptotic analysis of the worst case squared error risk of widely used estimators. We apply concentration inequalities to analyze the random fluctuation of these estimators around their expectations, and the theory of approximation using positive linear operators to analyze the deviation of their expectations from the true functional, namely their \emph{bias}. We characterize the worst case squared error risk incurred by the Maximum Likelihood Estimator (MLE) in estimating the Shannon entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$, and $F_α(P) = \sum_{i = 1}^S p_i^α,α>0$, up to multiplicative constants, for any alphabet size $S\leq \infty$ and sample size $n$ for which the risk may vanish. As a corollary, for Shannon entropy estimation, we show that it is necessary and sufficient to have $n \gg S$ observations for the MLE to be consistent. In addition, we establish that it is necessary and sufficient to consider $n \gg S^{1/α}$ samples for the MLE to consistently estimate $F_α(P), 0

연구 동기 및 목표

• 이산 분포의 기능에 대한 MLE의 최악의 제곱오차 위험에 대한 비점근적 분석을 제공하는 것.
• MLE가 샤논 엔트로피와 힘의 합 $F_\alpha(P)$를 일致적으로 추정하기 위해 필요한 샘플 복잡도를 규명하는 것.
• 특히 $S \gg n$인 고차원 설정에서 MLE의 성능을 최소최대 최적 추정량과 비교하는 것.
• 엔트로피 추정에서 딜레트 포스팅 스무딩의 효과성을 평가하며, 최소최대 속도를 달성하지 못함을 보이는 것.
• 특히 $0 < \alpha < 1$ 및 $\alpha \in (1, 3/2)$일 때, MLE의 수렴 속도가 최소최대 최적 속도보다 엄밀히 느리다는 것을 입증하는 것. 유일한 예외는 $\alpha \geq 3/2$일 때이다.

제안 방법

• MLE의 랜덤 변동이 기대값에서 벗어나는 정도를 제한하기 위해 농도 불등식을 사용한다.
• MLE의 편향, 즉 기대값이 진짜 기능에서 벗어나 있는 정도를 분석하기 위해 양의 선형 연산자를 사용한 근사 이론을 적용한다.
• 이항분포를 따르는 빈도의 모멘트 경계와 테일러 전개를 통해 $F_\alpha(P) = \sum_i p_i^\alpha$에 대한 MLE의 분산을 분석한다.
• 적분 잔여항 표현과 尾확률 추정을 사용하여 $\mathbb{E}[R_1(X;p)]$ 및 $\mathbb{E}[R_2(X;p)]$에 대한 경계를 유도한다.
• 오차 경계에서 지수 감소 항을 제어하기 위해 부등식 $x^{2\alpha}e^{-cnx} \leq \left(\frac{2\alpha}{cen}\right)^{2\alpha}$를 활용한다.
• 일致성에 대한 명시적 샘플 복잡도 임계값을 유도함으로써 MLE의 위험을 최소최대 최적 속도와 비교한다.

실험 결과

연구 질문

• RQ1 샤논 엔트로피 $H(P)$를 추정할 때 MLE의 최악의 제곱오차 위험은 무엇이며, 샘플 크기 $n$과 알파벳 크기 $S$에 따라 어떻게 척도화되는가?
• RQ2 힘의 합 $F\alpha(P)$에 대해, MLE가 일치하기 위해 필요한 필수 및 충분한 샘플 크기 $n$은 무엇이며, 이는 $\alpha$에 어떻게 의존하는가?
• RQ3 특히 $\alpha \in (0,1)$ 및 $\alpha \in (1, 3/2)$일 때, MLE의 수렴 속도는 $F_\alpha(P)$에 대해 최소최대 최적 속도와 어떻게 비교되는가?
• RQ4 디리클레 사전 스무딩은 엔트로피 추정에서 MLE를 향상시킬 수 있으며, 최소최대 속도를 달성할 수 있는가?
• RQ5 효과적 샘플 크기 측면에서 MLE의 성능과 최소최대 최적 추정량 간의 관계는 어떠한가?

주요 결과

• 샤논 엔트로피에 대한 MLE는 $n \gg S$일 때에만 일치하며, 최악의 제곱오차 위험은 보편 상수까지 정확하게 날카롭다.
• 다음과 같은 경우 $0 < \alpha < 1$일 때, MLE는 일관성을 확보하기 위해 $n \gg S^{1/\alpha}$개의 샘플이 필요하며, 이는 최소최대 최적의 $S^{1/\alpha}/\ln S$보다 엄밀히 더 많다.
• 다음과 같은 경우 $1 < \alpha < 3/2$일 때, MLE의 최악의 제곱오차 속도는 $n^{-2(\alpha-1)}$이며, 최소최대 속도는 $(n\ln n)^{-2(\alpha-1)}$이므로, 로그 격차가 존재한다.
• 다음과 같은 경우 $\alpha \geq 3/2$일 때, MLE는 알파벳 크기에 관계없이 최소최대 최적 속도 $n^{-1}$을 달성한다.
• 최소최대 최적 속도 추정량이 $n$개의 샘플을 사용할 때의 성능은, 딜레트 스무딩 추정량이 $n\ln n$개의 샘플을 사용할 때와 거의 동일하다.
• 디리클레 사전 스무딩—플러그인 또는 베이즈 추정량을 포함하여—모든 매개변수 조정에도 불구하고 엔트로피 추정에서 최소최대 속도를 달성할 수 없다.