[論文レビュー] Order-Optimal Estimation of Functionals of Discrete Distributions.

Jiantao Jiao, Kartik Venkat+1 more|arXiv (Cornell University)|Jun 26, 2014

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿は、非滑らかな機能的関数に対して不偏多項式近似を用い、滑らかなものに対してはバイアス補正付き最尤推定量（MLE）を用いることで、離散分布の機能的関数に対するミニマックス最適推定フレームワークを提案する。このフレームワークは、エントロピーに対して $n acksimeq S/\ln S$、$F_\alpha$ に対して $n acksimeq S^{1/\alpha}/\ln S$ の順序最適な標本複雑度を確立し、MLE が $n\ln n$ 個の標本を用いる場合と同等の性能を達成することを示している。これにより、エントロピーおよび相互情報量推定において、正確性と高速性の両面で顕著な向上が得られる。

ABSTRACT

We propose a general methodology for the construction and analysis of minimax estimators for a wide class of functionals of finite dimensional parameters, and elaborate on the case of discrete distributions, where the alphabet size $S$ is unknown and may be comparable with the number of observations $n$. We treat the respective regions where the functional is nonsmooth and smooth separately. In the nonsmooth regime, we apply an unbiased estimator for the best polynomial approximation of the functional whereas, in the smooth regime, we apply a bias-corrected Maximum Likelihood Estimator (MLE). We illustrate the merit of this approach by thoroughly analyzing two important cases: the entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$ and $F_\alpha(P) = \sum_{i = 1}^S p_i^\alpha,\alpha>0$. We obtain the minimax $L_2$ rates for estimating these functionals. In particular, we demonstrate that our estimator achieves the optimal sample complexity $n \asymp S/\ln S$ for entropy estimation. We also show that the sample complexity for estimating $F_\alpha(P),0<\alpha<1$ is $n\asymp S^{1/\alpha}/ \ln S$, which can be achieved by our estimator but not the MLE. For $1<\alpha<3/2$, we show the minimax $L_2$ rate for estimating $F_\alpha(P)$ is $(n\ln n)^{-2(\alpha-1)}$ regardless of the alphabet size, while the $L_2$ rate for the MLE is $n^{-2(\alpha-1)}$. For all the above cases, the behavior of the minimax rate-optimal estimators with $n$ samples is essentially that of the MLE with $n\ln n$ samples. We highlight the practical advantages of our schemes for entropy and mutual information estimation. We demonstrate that our approach reduces running time and boosts the accuracy compared to existing various approaches. Moreover, we show that the mutual information estimator induced by our methodology leads to significant performance boosts over the Chow--Liu algorithm in learning graphical models.

研究の動機と目的

• 未知のアスキートサイズ $S$ を持つ離散分布の機能的関数のミニマックス推定のための一般的手法を開発すること。
• 標本数 $n$ と同程度の $S$ を持つ状況において、機能的関数を推定する課題に取り組むこと。
• エントロピー $H(P)$ や $F_\alpha(P) = \sum p_i^\alpha$ のような主要な機能的関数に対するミニマックス $L_2$ レートを導出すること。
• 提案された推定量が、$n\ln n$ 個の標本を用いた MLE と同等の性能を達成することを示し、計算効率と正確性の両面で向上を実現すること。
• グラフィカルモデル学習における相互情報量推定にこのフレームワークを適用し、Chow–Liu アルゴリズムに比べて優位性を示すこと。

提案手法

• 非滑らかな機能的関数に対しては、関数の最良多項式近似に基づく不偏推定量を用いる。
• 滑らかな機能的関数に対しては、バイアス補正付き最尤推定量（MLE）を適用する。
• 推定戦略を滑らか・非滑らかの2つの領域に分けて、それぞれに適した手法を別々に分析する。
• 提案された推定量の理論的分析を通じて、ミニマックス $L_2$ リスクの上限を確立する。
• 集中法および近似理論を活用し、高次元離散分布におけるバイアスと分散を制御する。
• 推定量が $n$ 個の標本を用いる場合の $L_2$ リスクは、MLE が $n\ln n$ 個の標本を用いる場合と本質的に同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 アスキートサイズ $S$ が未知で $n$ と同程度のとき、エントロピー $H(P)$ を推定するためのミニマックス $L_2$ レートは何か？
• RQ2 $0 < \alpha < 1$ の $F_\alpha(P)$ を推定する際に、ミニマックス最適性を達成するための標本複雑度は何か？
• RQ3 関数 $F_\alpha(P)$ に対して $1 < \alpha < 3/2$ の場合、提案された推定量の性能は MLE と比べて標本効率および $L_2$ リスクの点でどのように異なるか？
• RQ4 提案されたフレームワークは、Chow–Liu アルゴリズムに比べて、グラフィカルモデル学習における相互情報量推定をどのように改善できるか？
• RQ5 提案された推定量は、$n\ln n$ 個の標本を用いた MLE の性能とどの程度一致するか？

主な発見

• 提案された推定量は、標本複雑度 $n \asymp S / \ln S$ を用いてエントロピー推定においてミニマックス $L_2$ レートを達成する。
• $0 < \alpha < 1$ の $F_\alpha(P)$ に対しては、ミニマックスレートが $n \asymp S^{1/\alpha} / \ln S$ の複雑度で達成され、これは MLE では達成できない複雑度である。
• $1 < \alpha < 3/2$ の $F_\alpha(P)$ に対しては、ミニマックス $L_2$ レートが $(n\ln n)^{-2(\alpha-1)}$ である一方、MLE は $n^{-2(\alpha-1)}$ のみを達成する。
• 提案された推定量が $n$ 個の標本を用いる場合の振る舞いは、$L_2$ リスクの観点から、MLE が $n\ln n$ 個の標本を用いる場合と本質的に同等である。
• 従来の手法に比べ、エントロピーおよび相互情報量推定における実行時間の短縮と正確性の向上が達成される。
• フレームワークから導出された相互情報量推定量は、グラフィカルモデル学習において Chow–Liu アルゴリズムを著しく上回る性能を示す。