[论文解读] Adaptive Estimation of Shannon Entropy

Yanjun Han, Jiantao Jiao+1 more|arXiv (Cornell University)|Feb 1, 2015

Control Systems and Identification参考文献 30被引用 10

一句话总结

该论文提出了一种自适应香农熵估计器，可在不依赖支撑大小或熵水平知识的前提下，在嵌套分布类序列上实现极小极大最优的 $L_2$ 风险。通过利用逼近理论与最佳多项式逼近，该估计器在 $n\ln n$ 个样本下达到与最大似然估计（MLE）相当的性能，展示了在所有熵区间内普遍存在的有效样本量扩大现象。

ABSTRACT

We consider estimating the Shannon entropy of a discrete distribution $P$ from $n$ i.i.d. samples. Recently, Jiao, Venkat, Han, and Weissman, and Wu and Yang constructed approximation theoretic estimators that achieve the minimax $L_2$ rates in estimating entropy. Their estimators are consistent given $n \gg \frac{S}{\ln S}$ samples, where $S$ is the alphabet size, and it is the best possible sample complexity. In contrast, the Maximum Likelihood Estimator (MLE), which is the empirical entropy, requires $n\gg S$ samples. In the present paper we significantly refine the minimax results of existing work. To alleviate the pessimism of minimaxity, we adopt the adaptive estimation framework, and show that the minimax rate-optimal estimator in Jiao, Venkat, Han, and Weissman achieves the minimax rates simultaneously over a nested sequence of subsets of distributions $P$, without knowing the alphabet size $S$ or which subset $P$ lies in. In other words, their estimator is adaptive with respect to this nested sequence of the parameter space, which is characterized by the entropy of the distribution. We also characterize the maximum risk of the MLE over this nested sequence, and show, for every subset in the sequence, that the performance of the minimax rate-optimal estimator with $n$ samples is essentially that of the MLE with $n\ln n$ samples, thereby further substantiating the generality of the phenomenon identified by Jiao, Venkat, Han, and Weissman.

研究动机与目标

• 开发一种自适应熵估计器，实现极小极大最优的 $L_2$ 风险，且无需事先知道支撑大小 $S$ 或熵水平。
• 通过证明 Jiao 等人（2015）的估计器在由熵参数化的嵌套分布类序列上同时达到极小极大最优，从而改进现有极小极大结果。
• 量化在不同熵区间下，MLE 与极小极大率最优估计器之间的性能差距。
• 正式建立有效样本量扩大现象，即使用 $n$ 个样本的极小极大估计器的表现等价于使用 $n\ln n$ 个样本的 MLE。

提出的方法

• 在嵌套分布类序列 $\mathcal{M}_S(H)$ 上采用自适应估计框架，其中 $H$ 为分布的熵。
• 利用最佳多项式逼近构造熵的极小极大率最优估计器，基于对函数 $-x\ln x$ 在 $[0,1]$ 上的逼近。
• 使用 Ditzian-Totik 模光滑度和加权范数控制多项式导数，建立逼近误差的统一界。
• 通过分解偏差与方差分析估计器的风险，并利用集中不等式控制泊松化下样本量的尾部行为。
• 利用极小极大估计器在 $n$ 个样本下的风险与 MLE 在 $n\ln n$ 个样本下的风险在偏差项上渐近等价的事实。
• 通过证明估计器在所有熵水平下均无需调参即可达到极小极大率，从而证明其自适应性。

实验结果

研究问题

• RQ1 是否存在一个单一的熵估计器，可在不掌握支撑大小或熵水平的前提下，在所有熵水平下实现极小极大最优的 $L_2$ 风险？
• RQ2 极小极大率最优估计器在不同熵区间下的性能与 MLE 相比如何？
• RQ3 极小极大估计器的有效样本量相较于 MLE 的提升程度有多大？这一差距是否具有普遍性？
• RQ4 能否证明基于逼近理论的估计器在由熵参数化的嵌套分布类族上具有自适应性？
• RQ5 当以 $n\ln n$ 缩放时，极小极大估计器的偏差与 MLE 的偏差之间存在何种精确关系？

主要发现

• Jiao 等人（2015）提出的极小极大率最优估计器在由熵参数化的嵌套分布类序列上具有自适应性，无需事先知道 $S$ 或 $H$ 即可实现极小极大 $L_2$ 风险。
• 该估计器使用 $n$ 个样本的性能在本质上等价于 MLE 使用 $n\ln n$ 个样本的性能，证实了有效样本量扩大的现象。
• MLE 在嵌套序列上的最大 $L_2$ 风险增长为 $\Theta\left(\frac{H^2}{n}\right)$，而极小极大估计器实现了 $\Theta\left(\frac{H^2}{n\ln n}\right)$，与极小极大下界一致。
• 对函数 $-x\ln x$ 使用 $K$ 次最佳多项式逼近的逼近误差被控制在 $O(K^{-2})$ 以内，且多项式在零附近导数被一致控制。
• 估计器的风险在所有熵水平下均被一致有界，偏差项按 $\frac{H^2}{n\ln n}$ 缩放，与将 MLE 中的 $n$ 替换为 $n\ln n$ 后的偏差一致。
• 证明表明，估计器的风险为 $O\left(\frac{H^2}{n\ln n}\right)$，且该速率是极小极大最优的，从而证实了样本量增益的普遍性。