[论文解读] Distribution of Mutual Information

Marcus Hütter|ArXiv.org|Dec 15, 2001

Bayesian Modeling and Causal Inference参考文献 7被引用 22

一句话总结

本文推导了在贝叶斯推断下互信息分布的解析近似，使用狄利克雷先验计算互信息分布的均值、方差、偏度和峰态。它提供了均值的精确表达式以及更高阶矩的准确渐近展开，从而实现了对有限样本下互信息估计的可靠不确定性量化。

ABSTRACT

The mutual information of two random variables i and j with joint probabilities t_ij is commonly used in learning Bayesian nets as well as in many other fields. The chances t_ij are usually estimated by the empirical sampling frequency n_ij/n leading to a point estimate I(n_ij/n) for the mutual information. To answer questions like "is I(n_ij/n) consistent with zero?" or "what is the probability that the true mutual information is much larger than the point estimate?" one has to go beyond the point estimate. In the Bayesian framework one can answer these questions by utilizing a (second order) prior distribution p(t) comprising prior information about t. From the prior p(t) one can compute the posterior p(t|n), from which the distribution p(I|n) of the mutual information can be calculated. We derive reliable and quickly computable approximations for p(I|n). We concentrate on the mean, variance, skewness, and kurtosis, and non-informative priors. For the mean we also give an exact expression. Numerical issues and the range of validity are discussed.

研究动机与目标

• 解决从有限样本中点估计互信息时缺乏不确定性量化的问题。
• 提供一个贝叶斯框架，用于计算互信息的完整后验分布 $ p(I|\mathbf{n}) $，而不仅限于点估计 $ I(\hat{\pi}) $。
• 在非信息性狄利克雷先验下，推导出 $ p(I|\mathbf{n}) $ 的均值、方差、偏度和峰态的可靠、快速可计算的解析表达式。
• 纠正先前启发式数值方法在互信息分布上的不准确性，特别是针对 [KJ96, Kle99] 中的方法。
• 实现概率推理，例如计算 $ p(I > I_*|\mathbf{n}) $，这对贝叶斯网络的结构学习至关重要。

提出的方法

• 使用关于联合概率 $ \pi_{ij} $ 的二阶先验 $ p(\boldsymbol{\pi}) $，导致多项分布计数的狄利克雷后验 $ p(\boldsymbol{\pi}|\mathbf{n}) \propto \prod_{ij} \pi_{ij}^{n_{ij}} $。
• 基于后验矩，利用 digamma 函数 $ \psi $ 推导出互信息期望 $ E[I] $ 的精确表达式。
• 应用一阶 delta 方法和高阶累积量展开，以 $ n^{-1} $ 的幂次近似方差 $ \text{Var}[I] $ 及更高阶中心矩（偏度、峰态）。
• 通过 $ E[I^k] $ 的展开至 $ O(n^{-3}) $ 计算高阶矩，涉及 $ n_{ij}/n $、对数似然比和边缘项的求和。
• 提出通过 Pearson 类型假设改进分布近似：$ p(I|\mathbf{n}) \propto (1 + \tilde{b}I + \tilde{c}I^2) \cdot p_0(I|\tilde{\mu}, \tilde{\sigma}^2) $，并根据均值、方差、偏度和峰态进行拟合。
• 通过蒙特卡洛模拟对近似结果进行数值验证，显示相对误差在 $ (rs/n)^{1\ldots2} $ 量级，且均值精确，方差精度得到提升。

实验结果

研究问题

• RQ1 如何从有限样本数据中可靠地近似互信息的完整后验分布 $ p(I|\mathbf{n}) $？
• RQ2 在狄利克雷先验下，互信息分布的均值、方差、偏度和峰态的精确表达式与渐近表达式是什么？
• RQ3 在 $ p(I|\mathbf{n}) $ 中，高阶矩如何偏离高斯分布？它们能否用于改进分布近似？
• RQ4 为何先前针对 $ p(I|\mathbf{n}) $ 的启发式数值方法（如 [KJ96, Kle99] 中的方法）是错误的？如何加以纠正？
• RQ5 所推导的解析近似在小到中等样本量范围内的有效范围和数值精度如何？

主要发现

• 互信息期望的精确表达式为 $ E[I] = \sum_{ij} \left( \psi(n_{ij} + 1) - \psi(n_{ij} + 1) \right) $，该式基于后验期望并利用 digamma 函数推导得出。
• 互信息的方差近似为 $ \text{Var}[I] = \frac{1}{n} \left( K - J^2 \right) + O(n^{-2}) $，其中 $ K $ 和 $ J $ 是对数似然比的求和。
• 偏度为 $ n^{-1/2} $ 量级，峰态趋近于 3（高斯分布），并带有 $ O(n^{-1}) $ 的修正项，表明在小样本时存在非高斯性。
• 高阶矩推导至 $ O(n^{-3}) $，$ E[(I - E[I])^3] $ 和 $ E[(I - E[I])^4] $ 的表达式涉及 $ J, K, L, M, Q, P $，从而支持更优的分布拟合。
• 当 $ \imath $ 和 $ \jmath $ 相关时，方差近似误差为 $ (rs/n)^2 $ 量级；当独立时为 $ O(rs/n) $ 量级，蒙特卡洛验证表明在该范围内具有高精度。
• 该方法通过在 $ n^{-1} $ 上进行系统展开，纠正了 [KJ96, Kle99] 中先前启发式方法的分析错误。