[論文レビュー] Maximum Likelihood Estimation of Functionals of Discrete Distributions

Jiantao Jiao, Kartik Venkat+2 more|arXiv (Cornell University)|Jun 26, 2014

Statistical Methods and Inference被引用数 7

ひとこと要約

この論文は、離散分布の機能的（特にシャノンエントロピーとパワー和）に対する最尤推定器（MLE）の非漸近的解析を提供する。集中不等式と正の線形作用素による近似理論を組み合わせることで、最悪ケースの二乗誤差リスクに対するタイトな境界を確立し、高次元設定においてMLEが厳密に最適でないことを示し、ミニマックス最適推定器と比較して標本量のギャップを同定する。

ABSTRACT

We consider the problem of estimating functionals of discrete distributions, and focus on tight nonasymptotic analysis of the worst case squared error risk of widely used estimators. We apply concentration inequalities to analyze the random fluctuation of these estimators around their expectations, and the theory of approximation using positive linear operators to analyze the deviation of their expectations from the true functional, namely their \emph{bias}. We characterize the worst case squared error risk incurred by the Maximum Likelihood Estimator (MLE) in estimating the Shannon entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$, and $F_α(P) = \sum_{i = 1}^S p_i^α,α>0$, up to multiplicative constants, for any alphabet size $S\leq \infty$ and sample size $n$ for which the risk may vanish. As a corollary, for Shannon entropy estimation, we show that it is necessary and sufficient to have $n \gg S$ observations for the MLE to be consistent. In addition, we establish that it is necessary and sufficient to consider $n \gg S^{1/α}$ samples for the MLE to consistently estimate $F_α(P), 0

研究の動機と目的

• 離散分布の機能的に対するMLEの最悪ケースの二乗誤差リスクの非漸近的解析を提供すること。
• シャノンエントロピーとパワー和 $F_\alpha(P)$ を一貫して推定するためのMLEに必要な標本量の複雑さを特定すること。
• 特に $S \gg n$ の高次元的状況において、MLEの性能とミニマックスレート最適推定器を比較すること。
• ディリクレ事前分布によるスムージングがエントロピー推定において効果的かどうかを評価し、それがミニマックスレートに到達できないことを示すこと。
• $0 < \alpha < 1$ および $\alpha \in (1, 3/2)$ の場合に、MLEの収束速度がミニマックス最適レートよりも厳密に遅いことを確立すること。ただし $\alpha \geq 3/2$ の場合は除く。

提案手法

• MLEの確率的フラクチュエーションが期待値からどれほど逸脱するかを制限するために集中不等式を用いる。
• MLEのバイアス（期待値が真の機能的からどれほど逸脱しているか）を分析するために、正の線形作用素を用いた近似理論を適用する。
• 二項分布に従うカウントのモーメントバウンドを用いて、$F_\alpha(P) = \sum_i p_i^\alpha$ のMLEの分散をテイラー展開で分析する。
• 積分剰余表現と尾確率推定を用いて、$\mathbb{E}[R_1(X;p)]$ および $\mathbb{E}[R_2(X;p)]$ のバウンドを導出する。
• 誤差バウンドにおける指数的減衰項を制御するために、不等式 $x^{2\alpha}e^{-cnx} \leq \left(\frac{2\alpha}{cen}\right)^{2\alpha}$ を用いる。
• 明示的な標本量閾値を導出することで、MLEのリスクをミニマックス最適レートと比較する。

実験結果

リサーチクエスチョン

• RQ1 シャノンエントロピー $H(P)$ を推定する際のMLEの最悪ケースの二乗誤差リスクは何か？ これは標本サイズ $n$ とアルファベットサイズ $S$ に対してどのようにスケーリングされるか？
• RQ2 パワー和 $F\alpha(P)$ に対して、MLEが一貫性を示すために必要な十分かつ必要十分な標本サイズ $n$ は何か？ これは $\alpha$ にどのように依存するか？
• RQ3 MLEの収束速度が $\alpha \in (0,1)$ および $\alpha \in (1, 3/2)$ の場合にミニマックス最適レートと比べてどのように異なるか？
• RQ4 ディリクレ事前分布によるスムージングはエントロピー推定においてMLEを上回ることができるか？ また、ミニマックスレートに到達できるか？
• RQ5 有効な標本サイズの観点から、MLEの性能とミニマックス最適推定器の性能の関係は何か？

主な発見

• シャノンエントロピーのMLEは、$n \gg S$ のときかつそのときに限り一貫性を示す。最悪ケースの二乗誤差リスクは、普遍定数のオーダーでタイトである。
• $0 < \alpha < 1$ の場合、$F_\alpha(P)$ のMLEは一貫性を示すために $n \gg S^{1/\alpha}$ 個の標本を必要とし、これはミニマックス最適な $S^{1/\alpha}/\ln S$ よりも厳密に多い。
• $1 < \alpha < 3/2$ の場合、MLEの最悪ケースの二乗誤差レートは $n^{-2(\alpha-1)}$ であるが、ミニマックスレートは $(n\ln n)^{-2(\alpha-1)}$ であり、対数的ギャップが生じる。
• $\alpha \geq 3/2$ の場合、MLEはアルファベットサイズに依存せず、ミニマックス最適レート $n^{-1}$ を達成する。
• 標本数 $n$ を用いたミニマックスレート最適推定器の性能は、$n\ln n$ 個の標本を用いたディリクレスムージング推定器の性能と本質的に同等である。
• プラグイン推定器またはベイズ推定器を用いたディリクレ事前分布スムージングは、パrameterチューニングにかかわらず、エントロピー推定においてミニマックスレートに到達できない。