[論文レビュー] Minimax rates of entropy estimation on large alphabets via best polynomial approximation

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|Jul 1, 2014

Machine Learning and Algorithms参考文献 49被引用数 17

ひとこと要約

この論文は、最大最小リスクを、大規模なアルファベットにおけるシャノンエントロピー推定のための最良多項式近似を用いて確立する。$n \gtrsim \frac{k}{\log k}$ のとき、最適リスクは $\left(\frac{k}{n\log k}\right)^2 + \frac{\log^2 k}{n}$ に比例し、この境界を達成する線形時間推定器の存在を証明する。解析は推定と近似理論の双対性に依拠し、タイトな上界と下界を導出する。

ABSTRACT

Consider the problem of estimating the Shannon entropy of a distribution over $k$ elements from $n$ independent samples. We show that the minimax mean-square error is within universal multiplicative constant factors of $$\Big(\frac{k }{n \log k}\Big)^2 + \frac{\log^2 k}{n}$$ if $n$ exceeds a constant factor of $\frac{k}{\log k}$; otherwise there exists no consistent estimator. This refines the recent result of Valiant-Valiant \cite{VV11} that the minimal sample size for consistent entropy estimation scales according to $Θ(\frac{k}{\log k})$. The apparatus of best polynomial approximation plays a key role in both the construction of optimal estimators and, via a duality argument, the minimax lower bound.

研究の動機と目的

• 独立同一分布の標本から得られる大規模なアルファベットにおけるシャノンエントロピー推定の根本的最小最大リスクを特徴づけること。
• 標本サイズ $n$ とアルファベットサイズ $k$ の観点から、最小最大平均二乗誤差の鋭い上界と下界を確立すること。
• 最小最大リスクを普遍定数要因内で達成する計算効率の良い線形時間推定器を開発すること。
• 最良多項式近似を中心的な分析的ツールとして用いることで、情報理論と近似理論を橋渡しすること。

提案手法

• 最小最大リスクは、区間 $[0,1]$ におけるエントロピー関数 $f(x) = -x\log x$ の最良多項式近似との双対性を通じて分析される。
• 著者らは、特に高次元かつアンダーサンプリングな状況下での推定器のバイアスに関する境界を導出するために、最良多項式近似の理論を用いる。
• 重要な技術的要素として、多項式近似における端点近似誤差を分析するためのチェビシェフの交替定理が用いられる。
• 最小最大下界は、$L^\infty$ ノルムにおける推定リスクと近似誤差の双対性による議論によって導出される。
• 最小最大リスクを普遍定数要因内で達成する、新しい線形時間推定器が構築される。
• 解析では、バイアスが支配的（$n \lesssim k^2 / \log^4 k$）である領域と、分散が支配的（$n \gtrsim k^2 / \log^4 k$）である領域に区別される。

実験結果

リサーチクエスチョン

• RQ1 アルファベットサイズ $k$ が大きく、標本サイズ $n$ が $k$ に対して非線形であるとき、シャノンエントロピー推定の根本的最小最大レートは何か？
• RQ2 最小最大リスクは普遍定数要因内で特徴づけられるか？ その関数的依存関係は $n$ と $k$ に関してどのように表れるか？
• RQ3 最小最大リスクを定数要因内で達成する計算効率の良い推定器は存在するか？
• RQ4 最良多項式近似の理論は、エントロピー推定における最小最大リスクとどのように関係するか？

主な発見

• $n \gtrsim \frac{k}{\log k}$ のとき、エントロピー推定の最小最大リスクは $R^*(k,n) \asymp \left(\frac{k}{n\log k}\right)^2 + \frac{\log^2 k}{n}$ である。
• $n \lesssim \frac{k}{\log k}$ のとき、最小最大リスクはゼロから離れているため、一貫した推定器は存在しない。
• $n \lesssim \frac{k^2}{\log^4 k}$ のとき、バイアス項 $\left(\frac{k}{n\log k}\right)^2$ が支配的であり、大規模アルファベットにおけるアンダーサンプリングの課題を反映している。
• 分散項 $\frac{\log^2 k}{n}$ は、中心極限定理に従う古典的なパラメトリックレートに対応する。
• 最小最大リスクを普遍定数要因内で達成する線形時間推定器が構築され、計算的に実用的である。
• 最良多項式近似の使用により、推定リスクと近似誤差のタイトな双対性が得られ、鋭い境界が可能になる。