[論文レビュー] Adaptive Estimation of Shannon Entropy

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Feb 1, 2015

Control Systems and Identification参考文献 30被引用数 10

ひとこと要約

本稿では、サポートサイズやエントロピー水準の知識を必要とせず、入れ子になった分布クラスの系列全体でミニマックス最適な $L_2$ リスクを達成するシャノンエントロピーの適応的推定量を導入する。近似理論と最良多項式近似を活用することで、この推定量は $n\ln n$ 個の標本を持つMLEと同等の性能を示し、あらゆるエントロピー領域において普遍的な有効標本サイズの拡大を実現する。

ABSTRACT

We consider estimating the Shannon entropy of a discrete distribution $P$ from $n$ i.i.d. samples. Recently, Jiao, Venkat, Han, and Weissman, and Wu and Yang constructed approximation theoretic estimators that achieve the minimax $L_2$ rates in estimating entropy. Their estimators are consistent given $n \gg \frac{S}{\ln S}$ samples, where $S$ is the alphabet size, and it is the best possible sample complexity. In contrast, the Maximum Likelihood Estimator (MLE), which is the empirical entropy, requires $n\gg S$ samples. In the present paper we significantly refine the minimax results of existing work. To alleviate the pessimism of minimaxity, we adopt the adaptive estimation framework, and show that the minimax rate-optimal estimator in Jiao, Venkat, Han, and Weissman achieves the minimax rates simultaneously over a nested sequence of subsets of distributions $P$, without knowing the alphabet size $S$ or which subset $P$ lies in. In other words, their estimator is adaptive with respect to this nested sequence of the parameter space, which is characterized by the entropy of the distribution. We also characterize the maximum risk of the MLE over this nested sequence, and show, for every subset in the sequence, that the performance of the minimax rate-optimal estimator with $n$ samples is essentially that of the MLE with $n\ln n$ samples, thereby further substantiating the generality of the phenomenon identified by Jiao, Venkat, Han, and Weissman.

研究の動機と目的

• サポートサイズ $S$ やエントロピー水準の事前知識なしに、ミニマックス最適な $L_2$ リスクを達成するシャノンエントロピー推定量の開発。
• Jiaoら（2015）の推定量がエントロピーでパラメータ化された入れ子になった分布クラスの系列全体で同時にミニマックス最適であることを示すことにより、既存のミニマックス結果の精緻化。
• 異なるエントロピー領域におけるMLEとミニマックスレート最適推定量の性能差の特定。
• 有効標本サイズの拡大現象を形式的に確立し、$n$ 個の標本を持つミニマックス推定量が $n\ln n$ 個の標本を持つMLEと同等に機能することを示す。

提案手法

• エントロピー $H$ をパラメータとする分布クラスの系列 $\mathcal{M}_S(H)$ における適応的推定フレームワークを採用。
• 関数 $-x\ln x$ を $[0,1]$ 上で近似するための最良多項式近似を用いて、エントロピーのミニマックスレート最適推定量を構築。
• Ditzian-Totikの滑らかさモジュラスと重み付きノルムによる多項式微分の制御を用いて、近似誤差の一様なバウンドを確立。
• バイアスとバイアスの分解を用いて推定量のリスクを分析し、ポisson化に基づく標本サイズの尾部挙動を濃度不等式で制御。
• ミニマックス推定量が $n$ 個の標本で得るリスクが、$n\ln n$ 個の標本で得るMLEのリスクと漸近的に同等であることに着目し、バイアス項の同値性を活用。
• チューニングパrameterなしに、あらゆるエントロピー水準でミニマックスレートを同時に達成できることを示すことにより、推定量の適応性を証明。

実験結果

リサーチクエスチョン

• RQ1 1つのエントロピー推定量が、サポートサイズやエントロピー水準の知識なしに、あらゆるエントロピー水準でミニマックス最適な $L_2$ リスクを達成できるか。
• RQ2 ミニマックスレート最適推定量の性能は、異なるエントロピー領域においてMLEと比べてどのように異なるか。
• RQ3 ミニマックス推定量の有効標本サイズは、MLEをどれほど上回るか。このギャップは普遍的か。
• RQ4 エントロピーでパラメータ化された入れ子の分布クラスの系列において、近似理論的推定量が適応的であることを示せるか。
• RQ5 $n\ln n$ でスケーリングされた際の、ミニマックス推定量のバイアスとMLEのバイアスの正確な関係は何か。

主な発見

• Jiaoら（2015）が提示したミニマックスレート最適推定量は、エントロピーでパラメータ化された入れ子の分布クラスの系列全体で適応的であり、$S$ や $H$ の事前知識なしにミニマックス $L_2$ リスクを達成する。
• この推定量が $n$ 個の標本で得る性能は、$n\ln n$ 個の標本を持つMLEと本質的に同等であり、有効標本サイズの拡大現象を確認する。
• 入れ子の系列全体におけるMLEの最大 $L_2$ リスクは $\Theta\left(\frac{H^2}{n}\right)$ に増加するが、ミニマックス推定量は $\Theta\left(\frac{H^2}{n\ln n}\right)$ を達成し、ミニマックス下界と一致する。
• 次数 $K$ の最良多項式による $-x\ln x$ の近似誤差は $O(K^{-2})$ で抑えられ、多項式の微分は0付近で一様に制御される。
• 推定量のリスクはあらゆるエントロピー水準で一様にバウンドされ、バイアス項は $\frac{H^2}{n\ln n}$ に比例し、$n$ を $n\ln n$ に置き換えたMLEのバイアスと一致する。
• 証明により、推定量のリスクが $O\left(\frac{H^2}{n\ln n}\right)$ であり、このレートはミニマックス最適であることが示され、標本サイズの利得の普遍性が確認される。