[論文レビュー] Non-asymptotic Theory for the Plug-in Rule in Functional Estimation

Jiantao Jiao, Kartik Venkat+2 more|arXiv (Cornell University)|Jun 26, 2014

Statistical Methods and Inference参考文献 78被引用数 6

ひとこと要約

本稿は、正の線形作用素を用いた近似理論を用いてバイアスと分散の集中不等式を分析することで、関数推定におけるプラグインルールの非漸近的理論を構築する。最大尤度推定量（MLE）がシャノンエントロピーおよびR{\alpha}-関数の推定において厳密に最適でないことが示され、最小最大の標本必要数はMLEの性能を対数的要因で上回る。

ABSTRACT

The plug-in rule is widely used in estimating functionals of finite dimensional parameters, and involves plugging in an asymptotically efficient estimator for the parameter to obtain an asymptotically efficient estimator for the functional. We propose a general non-asymptotic theory for analyzing the performance of the plug-in rule, and demonstrate its utility by applying it to estimation of functionals of discrete distributions via the maximum likelihood estimator (MLE). We show that existing theory is insufficient for analyzing the bias of the plug-in rule, and propose to apply the theory of approximation using positive linear operators to study this bias. The variance is controlled using the well-known tools from the literature on concentration inequalities. Our techniques completely characterize the maximum $L_2$ risk incurred by the MLE in estimating the Shannon entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$, and $F_\alpha(P) = \sum_{i = 1}^S p_i^\alpha$ up to a constant. As corollaries, for Shannon entropy estimation, we show that it is necessary and sufficient to have $n = \omega(S)$ observations for the MLE to be consistent, where $S$ represents the alphabet size. In addition, we obtain that it is necessary and sufficient to consider $n = \omega(S^{1/\alpha})$ samples for the MLE to consistently estimate $F_\alpha(P), 0<\alpha<1$. The minimax sample complexity for both problems are $\omega(S/\ln S)$ and $\omega(S^{1/\alpha}/\ln S)$, which implies that the MLE is strictly sub-optimal. When $1<\alpha<3/2$, we show that the maximum $L_2$ rate of convergence for the MLE is $n^{-2(\alpha-1)}$ for infinite alphabet size, while the minimax $L_2$ rate is $(n\ln n)^{-2(\alpha-1)}$. When $\alpha\geq 3/2$, the MLE achieves the minimax optimal $L_2$ convergence rate $n^{-1}$ regardless of the alphabet size.

研究の動機と目的

• 関数推定におけるプラグインルールを分析する非漸近的枠組みを構築すること、特に離散分布に対して。
• 既存の漸近的理論がプラグイン推定量のバイアスを特徴づけるのに不十分であるという問題を解決すること。
• シャノンエントロピーおよびR{\alpha}-関数の推定といった関数の$ L_2 $リスクに対する鋭い有限標本バウンドを提供すること。
• 最小最大の標本必要数を特定し、MLEの性能と比較すること。
• シャノンエントロピーおよび$ F_\alpha(P) $を推定する際のMLEの一致性のための必要十分条件を特定すること。

提案手法

• 正の線形作用素を用いた近似理論を適用し、プラグイン推定量のバイアスをモデル化・制御すること。
• 有限標本におけるプラグイン推定量の分散を制限するための集中不等式を用いること。
• シャノンエントロピー$ H(P) $および$ F_\alpha(P) = \sum p_i^\alpha $を推定する際のMLEの最大$ L_2 $リスクを特徴づけること。
• 非漸近的上界および下界を導出し、最小最大最適性を確立すること。
• MLEの$ L_2 $リスクがアルファベットサイズ$ S $およびパrameter $ \alpha $にどのように依存するかを分析すること。
• 異なる$ \alpha $のスケーリング領域において、MLEの収束速度と最小最大最適速度を比較すること。

実験結果

リサーチクエスチョン

• RQ1 MLEをパrameter推定量として用いる場合、プラグインルールの非漸近的バイアス行動はどのように振る舞うか？
• RQ2 シャノンエントロピーを推定する際のMLEの$ L_2 $リスクは、アルファベットサイズ$ S $および標本サイズ$ n $にどのように依存するか？
• RQ3 $ F_\alpha(P) $の一貫性推定に必要な最小最大の標本必要数は何か？ また、MLEの性能と比較するとどうなるか？
• RQ4 $ \alpha $のどの値のとき、MLEは$ L_2 $リスクにおいて最小最大最適であり、どのときが厳密に非最適か？
• RQ5 $ \alpha \geq 3/2 $のとき、$ F_\alpha(P) $のMLEの収束速度の正確なレートは何か？ また、最小最大レートと比較するとどうなるか？

主な発見

• シャノンエントロピーを推定する際、MLEは厳密に非最適であり、最小最大の標本必要数は$ \omega(S / \ln S) $であり、MLEの要件である$ \omega(S) $を対数的要因で上回る。
• $ 0 < \alpha < 1 $の$ F_\alpha(P) $に対しては、最小最大の標本必要数は$ \omega(S^{1/\alpha} / \ln S) $であり、MLEはわずかに$ \omega(S^{1\alpha}) $の要件で済むため、対数的ギャップが生じる。
• $ 1 < \alpha < 3/2 $のとき、MLEの$ L_2 $レートは$ n^{-2(\alpha - 1)} $であり、最小最大レートの$ (n \ln n)^{-2(\alpha - 1)} $よりも厳密に遅い。
• $ \alpha \geq 3/2 $のとき、MLEはアルファベットサイズに依存せず、最小最大最適な$ L_2 $レート$ n^{-1} $を達成する。
• 提案された非漸近的枠組みを用いることで、シャノンエントロピーおよび$ F_\alpha(P) $のMLE推定における最大$ L_2 $リスクは定数因子の違いを除き完全に特徴づけられる。
• シャノンエントロピーを推定する際、MLEが一貫性を示すには$ n = \omega(S) $が、$ F_\alpha(P) $（$ 0 < \alpha < 1 $）を推定する際には$ n = \omega(S^{1/\alpha}) $がそれぞれ必要かつ十分である。