[论文解读] Minimax rates of entropy estimation on large alphabets via best polynomial approximation

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|Jul 1, 2014

Machine Learning and Algorithms参考文献 49被引用 17

一句话总结

该论文通过最优多项式逼近方法，建立了大字母表下香农熵估计的极小极大率，表明当 $ n \gtrsim \frac{k}{\log k} $ 时，最优风险的尺度为 $\left(\frac{k}{n\log k}\right)^2 + \frac{\log^2 k}{n}$，并证明了存在一种线性时间估计器可达到该界。分析基于估计与逼近理论之间的对偶性，推导出紧致的上下界。

ABSTRACT

Consider the problem of estimating the Shannon entropy of a distribution over $k$ elements from $n$ independent samples. We show that the minimax mean-square error is within universal multiplicative constant factors of $$\Big(\frac{k }{n \log k}\Big)^2 + \frac{\log^2 k}{n}$$ if $n$ exceeds a constant factor of $\frac{k}{\log k}$; otherwise there exists no consistent estimator. This refines the recent result of Valiant-Valiant \cite{VV11} that the minimal sample size for consistent entropy estimation scales according to $Θ(\frac{k}{\log k})$. The apparatus of best polynomial approximation plays a key role in both the construction of optimal estimators and, via a duality argument, the minimax lower bound.

研究动机与目标

• 通过独立同分布样本表征从大字母表估计香农熵的根本极小极大风险。
• 在样本大小 $ n $ 和字母表大小 $ k $ 的条件下，建立极小极大均方误差的紧致上下界。
• 开发一种计算高效的线性时间估计器，其性能在 universal 常数因子内达到极小极大风险。
• 通过将最优多项式逼近作为核心分析工具，建立信息论与逼近理论之间的桥梁。

提出的方法

• 通过香农熵函数 $ f(x) = -x\log x $ 在 $[0,1]$ 上的最优多项式逼近，分析极小极大风险与之的对偶性。
• 作者利用最优多项式逼近理论推导熵估计器偏差的界，特别是在高维、欠采样情形下。
• 关键技术环节是利用切比雪夫交错定理分析多项式逼近中的端点逼近误差。
• 通过估计风险与 $ L^\infty $ 范数下逼近误差之间的对偶论证，推导出极小极大下界。
• 基于最优多项式逼近构造了一种新颖的线性时间估计器，其性能在 universal 常数因子内匹配极小极大风险。
• 分析区分了两种情形：一种由偏差主导（$ n \lesssim k^2 / \log^4 k $），另一种由方差主导（$ n \gtrsim k^2 / \log^4 k $）。

实验结果

研究问题

• RQ1 当字母表大小 $ k $ 较大且样本大小 $ n $ 与 $ k $ 呈次线性关系时，估计香农熵的根本极小极大率是什么？
• RQ2 极小极大风险能否在 universal 常数因子内表征？其关于 $ n $ 和 $ k $ 的精确函数依赖关系如何？
• RQ3 是否存在一种计算高效的估计器，其性能在常数因子内达到极小极大风险？
• RQ4 最优多项式逼近理论如何与熵估计中的极小极大风险相关联？

主要发现

• 当 $ n \gtrsim \frac{k}{\log k} $ 时，熵估计的极小极大风险为 $ R^*(k,n) \asymp \left(\frac{k}{n\log k}\right)^2 + \frac{\log^2 k}{n} $。
• 当 $ n \lesssim \frac{k}{\log k} $ 时，不存在一致估计器，因为极小极大风险远离零。
• 当 $ n \lesssim \frac{k^2}{\log^4 k} $ 时，偏差项 $ \left(\frac{k}{n\log k}\right)^2 $ 占主导，反映了大字母表中欠采样的挑战。
• 方差项 $ \frac{\log^2 k}{n} $ 对应由中心极限定理控制的经典参数速率。
• 构造了一种线性时间估计器，其性能在 universal 常数因子内达到极小极大风险，具有计算实用性。
• 最优多项式逼近的使用在估计风险与逼近误差之间建立了紧密的对偶性，从而实现了紧致的界。