[论文解读] Certain Relations between Mutual Information and Fidelity of Statistical Estimation

Sudhakar Prasad|arXiv (Cornell University)|Oct 7, 2010

Statistical Mechanics and Entropy参考文献 3被引用 16

一句话总结

本文建立了互信息（MI）与估计保真度之间的新理论关系，推导出在任意信道和先验分布下，基于贝叶斯估计的最小均方误差（MMSE）的互信息的一般下界。此外，对于窄先验，进一步将互信息与费雪信息（FI）在二阶近似下关联起来，并利用MI、FI和MMSE框架分析了干扰参数对估计性能的影响。

ABSTRACT

I present several new relations between mutual information (MI) and statistical estimation error for a system that can be regarded simultaneously as a communication channel and as an estimator of an input parameter. I first derive a second-order result between MI and Fisher information (FI) that is valid for sufficiently narrow priors, but arbitrary channels. A second relation furnishes a lower bound on the MI in terms of the minimum mean-squared error (MMSE) on the Bayesian estimation of the input parameter from the channel output, one that is valid for arbitrary channels and priors. The existence of such a lower bound, while extending previous work relating the MI to the FI that is valid only in the asymptotic and high-SNR limits, elucidates further the fundamental connection between information and estimation theoretic measures of fidelity. The remaining relations I present are inequalities and correspondences among MI, FI, and MMSE in the presence of nuisance parameters.

研究动机与目标

• 建立贝叶斯参数估计中互信息（MI）与最小均方误差（MMSE）之间的一般性、非渐近关系。
• 将先前关于互信息与费雪信息（FI）之间仅在渐近或局部成立的关系推广至适用于窄先验的二阶近似。
• 利用MI、FI和MMSE框架分析干扰参数对估计保真度的影响，并推导性能不等式。
• 提供MI-FI关联关系的全局、非渐近推广，突破高信噪比或大样本极限的限制。

提出的方法

• 通过条件概率密度函数 $P(y|x)$ 的泰勒级数展开，推导出互信息在窄先验下的二阶展开，其形式与费雪信息相关。
• 将互信息表示为对数似然比的期望，从而实现关于 $x' - x$ 的幂级数展开。
• 利用贝叶斯估计的MMSE建立互信息的下界：$I(X;Y) \geq h(X) - \frac{1}{2}\ln(2\pi e \cdot \text{MMSE})$，该式对任意先验和信道均成立。
• 通过将MI-MMSE关系推广至多维输入和输出，分析MIMO系统。
• 利用贝叶斯估计理论计算含与不含干扰参数时的MMSE，推导出MMSE不会因干扰参数存在而减小的不等式。
• 应用Cramér-Rao界和贝叶斯公式，以条件密度和边缘密度表示微分熵与互信息的表达式。

实验结果

研究问题

• RQ1 在一般设定下，如何利用贝叶斯估计的最小均方误差对互信息进行下界界定？
• RQ2 对于窄先验和任意信道，互信息与费雪信息之间精确的二阶关系是什么？
• RQ3 干扰参数如何通过MI、FI和MMSE衡量影响目标参数的估计保真度？
• RQ4 MI-MMSE关系能否推广至多输入多输出（MIMO）系统？
• RQ5 在何种条件下，干扰参数的存在不会降低目标参数估计的MMSE？

主要发现

• 推导出互信息的一般下界，以贝叶斯估计的最小均方误差（MMSE）表示：$I(X;Y) \geq h(X) - \frac{1}{2}\ln(2\pi e \cdot \text{MMSE})$，适用于任意信道和先验分布。
• 该下界是紧致的，并提供了对仅在渐近或高信噪比极限下成立的局部MI-FI关系的全局推广。
• 对于窄先验，推导出互信息与费雪信息之间的二阶关系，表明互信息近似正比于先验平均的费雪信息。
• 干扰参数的存在永远不会降低目标参数估计的MMSE；差值 $\text{MMSE}^{(+)} - \text{MMSE}^{(-)} \geq 0$ 始终非负。
• 当 $\chi = \eta$ 时达到最优条件，其中 $\chi$ 衡量 $X$ 与 $U$ 之间的先验相关性，$\eta$ 衡量耦合强度。
• 数值结果证实，随着干扰参数信噪比的增加，MMSE上升，但永远不会低于无干扰参数时的MMSE，表明在模型不确定性下贝叶斯估计具有根本的鲁棒性。