[论文解读] Mutual Information as a Bayesian Measure of Independence

David R. Wolf|ArXiv.org|Nov 6, 1995

Financial Risk and Volatility Modeling参考文献 5被引用 12

一句话总结

本文将互信息确立为统计假设检验中独立性的一个基础贝叶斯度量。它推导出随机变量之间独立性的精确贝叶斯后验概率，并表明互信息在渐近意义上主导贝叶斯检验统计量，从而以贝叶斯证据的角度对经典检验统计量提供了原则性的解释。

ABSTRACT

The problem of hypothesis testing is examined from both the historical and Bayesian points of view in the case that sampling is from an underlying joint probability distribution and the hypotheses tested for are those of independence and dependence of the underlying distribution. Exact results for the Bayesian method are provided. Asymptotic Bayesian results and historical method test quantities are compared, and historical method quantities are interpreted in terms of clearly defined Bayesian quantities. The asymptotic Bayesian test relies upon a statistic that is primarily mutual information.

研究动机与目标

• 将频率学派假设检验与贝叶斯推断在独立性检验背景下进行调和。
• 推导双变量分布中独立性的精确贝叶斯后验概率。
• 将经典检验统计量（例如卡方检验）解释为基于互信息的贝叶斯证据的近似。
• 确立互信息作为贝叶斯独立性检验中核心渐近统计量的地位。
• 提供一种理论坚实、基于信息论的替代方法，使用贝叶斯原则替代经典独立性检验。

提出的方法

• 将假设检验问题表述为独立性与依赖性模型之间后验奇偶比的比较。
• 在联合概率分布上使用非信息先验，以计算精确的贝叶斯后验概率。
• 推导贝叶斯对数奇偶比的渐近形式，表明其收敛于互信息的函数。
• 将渐近贝叶斯检验统计量与经典卡方统计量和似然比统计量进行比较。
• 证明互信息在贝叶斯证据的渐近展开中成为主导项。
• 将历史检验统计量（例如皮尔逊卡方检验）解释为基于互信息的贝叶斯信息准则的近似。

实验结果

研究问题

• RQ1 如何形式化证明互信息可作为贝叶斯依赖度量？
• RQ2 在独立性检验中，贝叶斯后验奇偶比与互信息之间的确切关系是什么？
• RQ3 在大样本极限下，经典检验统计量（例如卡方检验）与贝叶斯证据有何关系？
• RQ4 能否证明在备择假设下，互信息在渐近意义上主导贝叶斯检验统计量？
• RQ5 在贝叶斯框架下，使用互信息作为统计依赖度量的理论依据是什么？

主要发现

• 在联合分布上的非信息先验下，推导出独立性的精确贝叶斯后验概率。
• 渐近贝叶斯检验统计量收敛于与互信息成比例的函数，确立了其核心作用。
• 证明经典检验统计量（如皮尔逊卡方检验）在大样本极限下近似于贝叶斯证据。
• 正式确认互信息是贝叶斯对数奇偶比渐近展开中的关键量。
• 本文为经典独立性检验提供了贝叶斯解释，表明其隐含地度量了信息论意义上的依赖性。
• 结果表明，互信息不仅是频率学派估计量，更是贝叶斯独立性推断中的核心组成部分。