[论文解读] Estimating Functions of Distributions from A Finite Set of Samples, Part 2: Bayes Estimators for Mutual Information, Chi-Squared, Covariance and other Statistics

David R. Wolf, David H. Wolpert|ArXiv.org|Mar 8, 1994

Statistical Mechanics and Entropy参考文献 12被引用 6

一句话总结

本文提出了基于有限样本数据的离散概率分布函数的贝叶斯估计器，包括互信息、协方差和卡方统计量。在狄利克雷先验下，推导出可解析处理的后验期望，相较于频率学派方法，显著提升了小样本情况下的估计精度，尤其在低数据场景下表现更优。

ABSTRACT

We present estimators for entropy and other functions of a discrete probability distribution when the data is a finite sample drawn from that probability distribution. In particular, for the case when the probability distribution is a joint distribution, we present finite sample estimators for the mutual information, covariance, and chi-squared functions of that probability distribution.

研究动机与目标

• 解决在仅有有限样本数量时，对离散概率分布函数（如互信息和协方差）进行估计的挑战。
• 通过引入贝叶斯框架，克服频率学派估计器在小样本场景下的偏差和高方差问题。
• 在共轭狄利克雷先验下，为关键统计函数推导出可解析处理的后验期望。
• 为从有限经验数据中估计联合分布的复杂泛函提供一种系统化方法。
• 在数据稀缺或高维情况下，实现可靠的推断，适用于信息论和统计度量。

提出的方法

• 在多项分布上使用共轭狄利克雷先验，以实现后验期望的解析计算。
• 推导出互信息、卡方和协方差等函数后验均值的闭式表达式。
• 应用狄利克雷-多项分布模型，以估计底层分布非线性泛函的期望。
• 利用狄利克雷分布的性质对小样本数据进行正则化，减少过拟合。
• 将后验期望用作贝叶斯估计器，在选定先验下最小化平方误差。
• 通过理论分析和与频率学派估计器的对比，验证估计器的性能。

实验结果

研究问题

• RQ1 贝叶斯估计如何提升有限样本下互信息估计的准确性？
• RQ2 在狄利克雷-多项分布模型中，协方差后验期望的解析形式是什么？
• RQ3 能否为卡方统计量及其他离散分布的泛函推导出闭式贝叶斯估计器？
• RQ4 在有限样本条件下，这些贝叶斯估计器与频率学派估计器在偏差和方差方面有何比较？
• RQ5 先验超参数对信息论量估计结果有何影响？

主要发现

• 本文基于狄利克雷共轭先验，推导出互信息、协方差和卡方统计量的可解析处理的贝叶斯估计器。
• 实证表明，在小样本场景下，互信息的贝叶斯估计器显著优于最大似然估计器。
• 协方差估计器被定义为狄利克雷-多项分布模型下的后验期望，提供了系统化的正则化方法。
• 卡方统计量通过后验期望进行估计，相比经验版本更不易过拟合。
• 该方法在有限样本设置下系统性地降低了偏差和均方误差，尤其在样本数相对于类别数较少时效果显著。
• 该方法可推广至其他离散分布的泛函，为统计估计提供统一的贝叶斯框架。