[논문 리뷰] Non-asymptotic Theory for the Plug-in Rule in Functional Estimation

Jiantao Jiao, Kartik Venkat외 2명|arXiv (Cornell University)|2014. 06. 26.

Statistical Methods and Inference참고 문헌 78인용 수 6

한 줄 요약

이 논문은 기능 추정에서 플러그인 규칙에 대한 비점근 이론을 개발하며, 양의 선형 연산자를 사용한 근사 이론을 통해 편향과 분산에 대한 농도 부등식을 분석한다. 최대 likelihood 추정기(MLE)가 샤논 엔트로피와 R{\alpha}-기능을 추정할 때 엄격히 최적보다 열 劣하다는 것을 입증하며, 최소 최대 표본 복잡도는 MLE 성능을 로그 인자만큼 초월한다.

ABSTRACT

The plug-in rule is widely used in estimating functionals of finite dimensional parameters, and involves plugging in an asymptotically efficient estimator for the parameter to obtain an asymptotically efficient estimator for the functional. We propose a general non-asymptotic theory for analyzing the performance of the plug-in rule, and demonstrate its utility by applying it to estimation of functionals of discrete distributions via the maximum likelihood estimator (MLE). We show that existing theory is insufficient for analyzing the bias of the plug-in rule, and propose to apply the theory of approximation using positive linear operators to study this bias. The variance is controlled using the well-known tools from the literature on concentration inequalities. Our techniques completely characterize the maximum $L_2$ risk incurred by the MLE in estimating the Shannon entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$, and $F_\alpha(P) = \sum_{i = 1}^S p_i^\alpha$ up to a constant. As corollaries, for Shannon entropy estimation, we show that it is necessary and sufficient to have $n = \omega(S)$ observations for the MLE to be consistent, where $S$ represents the alphabet size. In addition, we obtain that it is necessary and sufficient to consider $n = \omega(S^{1/\alpha})$ samples for the MLE to consistently estimate $F_\alpha(P), 0<\alpha<1$. The minimax sample complexity for both problems are $\omega(S/\ln S)$ and $\omega(S^{1/\alpha}/\ln S)$, which implies that the MLE is strictly sub-optimal. When $1<\alpha<3/2$, we show that the maximum $L_2$ rate of convergence for the MLE is $n^{-2(\alpha-1)}$ for infinite alphabet size, while the minimax $L_2$ rate is $(n\ln n)^{-2(\alpha-1)}$. When $\alpha\geq 3/2$, the MLE achieves the minimax optimal $L_2$ convergence rate $n^{-1}$ regardless of the alphabet size.

연구 동기 및 목표

• 플러그인 규칙의 비점근 프레임워크를 개발하여 기능 추정, 특히 이산 분포에 대해 분석한다.
• 기존 점근 이론이 플러그인 추정기의 편향을 특성화하는 데 부족함을 해결한다.
• 샤논 엔트로피와 R{\alpha}-기능과 같은 기능을 추정할 때 $L_2$ 위험에 대한 날카운 유한 표본 경계를 제공한다.
• 최소 최대 표본 복잡도를 결정하고 MLE 성능과 비교한다.
• 샤논 엔트로피와 $F_\alpha(P)$를 추정할 때 MLE의 일致성에 필요한 표본 크기 $n$의 필요 및 충분 조건을 규명한다.

제안 방법

• 양의 선형 연산자 이론을 적용하여 플러그인 추정기의 편향을 모델링하고 제어한다.
• 농도 부등식을 사용하여 표본 수가 유한할 경우 플러그인 추정기의 분산을 경계한다.
• 샤논 엔트로피 $H(P)$와 $F_\alpha(P) = \sum p_i^\alpha$를 추정할 때 MLE의 최대 $L_2$ 위험을 특성화한다.
• 최소 최대 최적성의 비점근 상한 및 하한 경계를 유도하여 최소 최대 최적성을 입증한다.
• 표본 크기 $S$와 매개수 $\alpha$에 따른 $L_2$ 위험의 의존성을 분석한다.
• 다양한 $\alpha$의 범위에서 MLE의 수렴 속도와 최소 최대 최적 속도를 비교한다.

실험 결과

연구 질문

• RQ1 MLE를 파rameter 추정기로 사용할 때 플러그인 규칙의 비점근적 편향 행동은 어떻게 되는가?
• RQ2 $L_2$ 위험의 MLE가 알파벳 크기 $S$와 표본 크기 $n$에 따라 어떻게 척도화되는가?
• RQ3 $F_\alpha(P)$의 일관된 추정을 위해 필요한 최소 최대 표본 복잡도는 무엇이며, MLE 성능과 비교해 보면 어떻게 되는가?
• RQ4 $\alpha$의 어떤 값에서 MLE가 $L_2$ 위험에서 최소 최대 최적이고, 어떤 경우에 엄격히 최적보다 열 劣한가?
• RQ5 $\alpha \geq 3/2$일 때 $F_\alpha(P)$에 대한 MLE의 수렴 속도는 정확히 얼마이며, 최소 최대 속도와 비교해 보면 어떻게 되는가?

주요 결과

• MLE는 샤논 엔트로피 추정에서 엄격히 최적보다 열 劣하며, 최소 최대 표본 복잡도는 $\omega(S / \ln S)$이며, MLE의 요구 조건인 $\omega(S)$를 초월한다.
• $0 < \alpha < 1$인 $F_\alpha(P)$의 경우 최소 최대 표본 복잡도는 $\omega(S^{1/\alpha} / \ln S)$이며, MLE는 오직 $\omega(S^{1\alpha})$만 요구하므로 로그 간격이 존재한다.
• $1 < \alpha < 3/2$일 때 MLE의 $L_2$ 속도는 $n^{-2(\alpha - 1)}$이며, 이는 최소 최대 속도 $(n \ln n)^{-2(\alpha - 1)}$보다 엄격히 느리다.
• $\alpha \geq 3/2$일 때 MLE는 알파벳 크기에 관계없이 최소 최대 최적의 $L_2$ 속도 $n^{-1}$을 달성한다.
• 제안된 비점근 프레임워크를 통해 샤논 엔트로피와 $F_\alpha(P)$의 MLE 추정에 대한 최대 $L_2$ 위험은 상수 인자까지 정확히 특성화된다.
• 샤논 엔트로피 추정에서 MLE가 일관성이 있도록 $n = \omega(S)$가 필요하고 충분하며, $0 < \alpha < 1$인 $F_\alpha(P)$의 경우 $n = \omega(S^{1/\alpha})$여야 한다.