[论文解读] Estimating Functions of Probability Distributions from a Finite Set of Samples, Part 1: Bayes Estimators and the Shannon Entropy

David H. Wolpert, David R. Wolf|ArXiv.org|Mar 8, 1994

Neural Networks and Applications参考文献 3被引用 13

一句话总结

本文提出了用于离散概率分布函数的贝叶斯估计器，重点关注香农熵及其相关度量（如互信息和协方差），基于有限样本数据。该研究推导出在小样本情形下具有解析可计算性的估计器，显著降低了偏差，相较于频率学方法，在有限数据下估计熵和依赖度量时具有更高的准确性。

ABSTRACT

We present estimators for entropy and other functions of a discrete probability distribution when the data is a finite sample drawn from that probability distribution. In particular, for the case when the probability distribution is a joint distribution, we present finite sample estimators for the mutual information, covariance, and chi-squared functions of that probability distribution.

研究动机与目标

• 解决在仅有有限个独立同分布样本可用时，估计概率分布函数（特别是熵和互信息）的挑战。
• 克服在样本量较小时，频率学方法在估计熵及其他泛函时固有的偏差。
• 开发可解析计算的贝叶斯估计器，整合先验知识并对其底层分布的不确定性进行边缘化处理。
• 将该框架扩展至联合分布，实现通过后验期望对互信息、协方差和卡方统计量进行有限样本下的估计。
• 为在数据稀缺条件下对信息论量进行稳健统计推断提供基础，该研究对物理学、机器学习和复杂系统具有重要意义。

提出的方法

• 通过在多项分布概率上施加狄利克雷先验，建立估计离散概率分布函数的贝叶斯方法。
• 推导出熵及其他泛函的后验期望的闭式表达式，实现解析计算。
• 利用后验预测分布计算考虑估计分布不确定性的估计器。
• 将该方法应用于联合分布，通过后验的边缘化实现互信息、协方差和卡方统计量的估计。
• 利用狄利克雷-多项分布模型的共轭先验结构，确保计算的可处理性和数值稳定性。
• 通过理论分析与频率学方法的对比，验证估计器的有效性，证明在有限样本情形下偏差显著降低。

实验结果

研究问题

• RQ1 如何利用贝叶斯方法减少从有限样本集中估计香农熵时的偏差？
• RQ2 当仅有少量独立同分布样本可用时，互信息的最优贝叶斯估计器是什么？
• RQ3 在小样本量下，贝叶斯估计器与频率学估计器在偏差和均方误差方面有何比较？
• RQ4 在狄利克雷先验下，是否可以为信息论泛函的后验期望推导出解析表达式？
• RQ5 使用非信息性狄利克雷先对于估计联合概率分布的函数有何影响？

主要发现

• 本文推导出在小样本情形下显著降低偏差的解析可计算的贝叶斯估计器，用于香农熵估计，相较于最大似然估计器表现更优。
• 证明了熵的贝叶斯估计器即为在狄利克雷先验下的后验均值，提供了一种系统化整合先验知识与不确定性的方法。
• 对于联合分布，该方法可通过后验期望一致地从有限样本中估计互信息、协方差和卡方统计量。
• 该方法在均方误差方面优于频率学估计器，尤其当样本数相对于可能结果数较少时表现更优。
• 该框架可推广至其他离散分布的泛函，为信息论估计提供统一的贝叶斯方法。
• 所推导的估计器计算高效，无需蒙特卡洛采样，得益于狄利克雷-多项分布共轭族的解析可处理性。