[論文レビュー] Does Dirichlet Prior Smoothing Solve the Shannon Entropy Estimation Problem?

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Feb 1, 2015

Statistical Methods and Inference参考文献 81被引用数 4

ひとこと要約

本稿は、離散分布のシャノンエントロピーおよびパワー和関数への最尤推定量（MLE）の非漸近的解析を提供し、高次元設定においてMLEが厳密に最適でないことを示している。また、ディリクレ事前分布によるスムージングがMLEの性能を向上させず、最適なパrameterチューニングを行ってもミニマックス最適レートに到達できないことを証明している。

ABSTRACT

The Dirichlet prior is widely used in estimating discrete distributions and functionals of discrete distributions. In terms of Shannon entropy estimation, one approach is to plug-in the Dirichlet prior smoothed distribution into the entropy functional, while the other one is to calculate the Bayes estimator for entropy under the Dirichlet prior for squared error, which is the conditional expectation. We show that in general they do \emph{not} improve over the maximum likelihood estimator, which plugs-in the empirical distribution into the entropy functional. No matter how we tune the parameters in the Dirichlet prior, this approach cannot achieve the minimax rates in entropy estimation, as recently characterized by Jiao, Venkat, Han, and Weissman, and Wu and Yang. The performance of the minimax rate-optimal estimator with $n$ samples is essentially \emph{at least} as good as that of the Dirichlet smoothed entropy estimators with $n\ln n$ samples. We harness the theory of approximation using positive linear operators for analyzing the bias of plug-in estimators for general functionals under arbitrary statistical models, thereby further consolidating the interplay between these two fields, which was thoroughly developed and exploited by Jiao, Venkat, Han, and Weissman. We establish new results in approximation theory, and apply them to analyze the bias of the Dirichlet prior smoothed plug-in entropy estimator. This interplay between bias analysis and approximation theory is of relevance and consequence far beyond the specific problem setting in this paper.

研究の動機と目的

• 高次元離散分布におけるシャノンエントロピーおよびパワー和関数の推定に対するMLEの最悪ケースの二乗誤差リスクを厳密に分析すること。
• エントロピーおよびパワー和の推定においてMLEの一貫性を達成するのに必要な最小の標本量（標本サイズn）と、特にアルファベットサイズSが大きい場合の依存関係を特定すること。
• 特に高次元領域において、ディリクレ事前分布によるスムージング手法がミニマックス最適レートに到達できるかどうかを評価すること。
• 近似理論および集中不等号を用いて、ミニマックスレート最適推定量と比較することで、MLEおよびディリクルベース推定量の根本的限界を確立すること。

提案手法

• MLEの期待値まわりの分散を制限するために集中不等号を用い、確率的フラクチュエーションを定量的に評価する。
• 正の線形作用素を用いた近似理論を適用し、MLEのバイアス（期待値と真の関数値との乖離）を分析する。
• シャノンエントロピーおよびパワー和関数の両方について、最悪ケースの二乗誤差リスクの非漸近的上界および下界を導出する。
• 積分剰余項を伴うテイラー展開を用いて、関数推定量の2階モーメントを制限し、精度の高いリスク評価を可能にする。
• 二乗誤差損失下でのプラグイン推定量とベイズ推定量の比較を通じて、ディリクレ事前分布によるスムージング推定量の性能を分析する。
• 指数的尾部バウンド（例：補題26を用いて）を用いて、高次のモーメント推定におけるレアイベントの逸脱を制御する。

実験結果

リサーチクエスチョン

• RQ1 シャノンエントロピーを推定するMLEの正確な最悪ケースの二乗誤差リスクは何か？ また、標本サイズnとアルファベットサイズSにどのように依存するか？
• RQ2 MLEがシャノンエントロピーを推定する際に一貫性を示すには、どの程度の標本サイズnが必要か？ これはSにどのように依存するか？
• RQ3 ディリクレ事前分布によるスムージングがMLEの性能を向上させられるか？ また、ミニマックス最適レートに到達できるか？
• RQ4 0 < α < 1 の場合、パワー和関数の推定においてMLEの収束速度はミニマックス最適レートと比べてどうか？
• RQ5 MLEがミニマックス最適レートに達する条件は何か？ また、いつ厳密に劣っているのか？

主な発見

• シャノンエントロピーのMLEは、n ≫ S のときのみ一貫性を示し、その最悪ケースの二乗誤差リスクは普遍定数の意味でタイトである。
• 0 < α < 1 のパワー和関数に対しては、MLEは n ≫ S^{1/α} のときのみ一貫性を示し、ミニマックスレートと比較して厳密に劣っている。
• エントロピーのミニマックスレート最適推定量は S / ln S 個の標本で十分であるのに対し、MLEは n ≫ S 必要があり、標本量の根本的ギャップが生じている。
• 1 < α < 3/2 の場合、MLEの最悪ケースの二乗誤差レートは n^{-2(α-1)} であるが、ミニマックスレートは (n ln n)^{-2(α-1)} であり、対数的ギャップが生じている。
• α ≥ 3/2 の場合、MLEはアルファベットサイズに依存せず、n^{-1} のミニマックス最適レートを達成するため、この領域では最適である。
• ディリクレ事前分布によるスムージング（プラグインまたはベイズ推定の両方を含む）は、ミニマックスレートに到達できない。n 個の標本で得られるミニマックス推定量の性能は、n ln n 個の標本で得られるディリクレ推定量の性能以上である。