[论文解读] Does Dirichlet Prior Smoothing Solve the Shannon Entropy Estimation Problem?

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Feb 1, 2015

Statistical Methods and Inference参考文献 81被引用 4

一句话总结

本文对离散分布的微熵和幂和泛函的最大似然估计量（MLE）进行了非渐近分析，表明在高维设置下 MLE 严格次优。研究证明，狄利克雷先验平滑无法提升 MLE 的性能，即使经过最优参数调优，也无法达到极小极大最优率。

ABSTRACT

The Dirichlet prior is widely used in estimating discrete distributions and functionals of discrete distributions. In terms of Shannon entropy estimation, one approach is to plug-in the Dirichlet prior smoothed distribution into the entropy functional, while the other one is to calculate the Bayes estimator for entropy under the Dirichlet prior for squared error, which is the conditional expectation. We show that in general they do \emph{not} improve over the maximum likelihood estimator, which plugs-in the empirical distribution into the entropy functional. No matter how we tune the parameters in the Dirichlet prior, this approach cannot achieve the minimax rates in entropy estimation, as recently characterized by Jiao, Venkat, Han, and Weissman, and Wu and Yang. The performance of the minimax rate-optimal estimator with $n$ samples is essentially \emph{at least} as good as that of the Dirichlet smoothed entropy estimators with $n\ln n$ samples. We harness the theory of approximation using positive linear operators for analyzing the bias of plug-in estimators for general functionals under arbitrary statistical models, thereby further consolidating the interplay between these two fields, which was thoroughly developed and exploited by Jiao, Venkat, Han, and Weissman. We establish new results in approximation theory, and apply them to analyze the bias of the Dirichlet prior smoothed plug-in entropy estimator. This interplay between bias analysis and approximation theory is of relevance and consequence far beyond the specific problem setting in this paper.

研究动机与目标

• 严格分析高维离散分布中估计微熵和幂和泛函时 MLE 的最坏情况平方误差风险。
• 确定 MLE 在估计熵和幂和时一致性的必要与充分样本复杂度，特别是当字母表大小 S 较大时。
• 评估狄利克雷先验平滑技术是否能在熵估计中实现极小极大最优率，尤其是在高维情形下。
• 通过逼近理论与集中不等式，将 MLE 与狄利克雷估计量与极小极大率最优估计量进行比较，确立其根本极限。

提出的方法

• 使用集中不等式控制 MLE 在其期望附近的方差，量化随机波动。
• 通过正线性算子的逼近理论分析 MLE 的偏差，即其期望与真实泛函值之间的偏离。
• 推导微熵和幂和泛函最坏情况平方误差风险的非渐近上下界。
• 采用带积分余项的泰勒展开控制泛函估计量的二阶矩，实现精确的风险量化。
• 通过比较插补估计量与贝叶斯估计量在平方误差损失下的表现，分析狄利克雷先验平滑估计量的性能。
• 使用指数尾部界（例如通过引理 26）控制高阶矩估计中罕见事件的偏离。

实验结果

研究问题

• RQ1 MLE 估计微熵的精确最坏情况平方误差风险是多少？其随样本量 n 和字母表大小 S 如何变化？
• RQ2 MLE 在估计微熵时何时一致？其依赖于 S 的样本量 n 是多少？
• RQ3 狄利克雷先验平滑能否提升 MLE 在熵估计中的性能？是否能实现极小极大最优率？
• RQ4 当 0 < α < 1 时，MLE 的收敛率与幂和泛函的极小极大最优率相比如何？
• RQ5 在何种条件下 MLE 能达到极小极大最优率？在何种情况下其严格次优？

主要发现

• MLE 估计微熵仅在 n ≫ S 时一致，其最坏情况平方误差风险在绝对常数范围内是紧的。
• 对于 0 < α < 1 的幂和泛函，MLE 仅在 n ≫ S^{1/α} 时一致，其风险相比极小极大率严格次优。
• 熵的极小极大率最优估计量仅需 S / ln S 个样本，而 MLE 需要 n ≫ S，显示出样本复杂度的根本差距。
• 当 1 < α < 3/2 时，MLE 的最坏情况平方误差率是 n^{-2(α-1)}，而极小极大率是 (n ln n)^{-2(α-1)}，表明存在对数差距。
• 当 α ≥ 3/2 时，MLE 的最坏情况平方误差率达到 n^{-1}，与字母表大小无关，因此在此参数范围内为最优。
• 无论采用插补还是贝叶斯估计，狄利克雷先验平滑均无法达到极小极大率；使用 n 个样本的极小极大估计量性能至少等同于使用 n ln n 个样本的狄利克雷估计量。