[论文解读] A note on the strong data-processing inequalities in Bayesian networks.

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Aug 25, 2015

Markov Chains and Monte Carlo Methods被引用 11

一句话总结

本文通过扩展 Evans-Schulman 方法，提出一个框架，以在贝叶斯网络中推导端到端的强数据处理不等式（SDPIs）。该方法建立了三类压缩系数——Ahlsweede-Gács、Dobrushin 和 $F_I$-curve——的 SDPIs，实现了针对特定信道的 SDPIs 在复杂网络中的传播，并将其应用于带反馈的 $n$-字母无记忆信道。

ABSTRACT

The data-processing inequality, that is, $I(U;Y) \le I(U;X)$ for a Markov chain $U o X o Y$, has been the method of choice for proving impossibility (converse) results in information theory and many other disciplines. Various channel-dependent strengthenings of this inequality have been proposed both classically and more recently. This note considers the basic information-theoretic question: given strong data-processing inequality (SDPI) for each constituent channel in a Bayesian network, how does one produce an end-to-end SDPI? Our approach is based on the (extract of the) Evans-Schulman method, which is demonstrated for three different kinds of SDPIs, namely, the usual Ahslwede-G\'acs type contraction coefficients (mutual information), Dobrushin's contraction coefficients (total variation), and finally the $F_I$-curve (the best possible SDPI for a given channel). As an example, it is shown how to obtain SDPI for an $n$-letter memoryless channel with feedback given an SDPI for $n=1$.

研究动机与目标

• 为解决在已知单个信道 SDPIs 的情况下，如何在贝叶斯网络中推导出紧致的端到端强数据处理不等式（SDPIs）的挑战。
• 将 Evans-Schulman 方法扩展至多种类型的 SDPIs，包括 Ahlsweede-Gács、Dobrushin 和 $F_I$-curve 系数。
• 为通过多节点贝叶斯网络传播 SDPIs 提供系统性方法，尤其适用于具有记忆和反馈的信道。
• 通过从 $n=1$ 情况推导出带反馈的 $n$-字母无记忆信道的 SDPI，展示该方法的实用性。

提出的方法

• 将 Evans-Schulman 方法应用于将网络分解为马尔可夫链，并分析条件分布之间的信息流。
• 利用压缩系数框架量化每个信道处的信息损失，从而推导出互信息、总变差和 $F_I$-curve 的 SDPIs。
• 基于贝叶斯网络的结构和马尔可夫性质，建立信息散度的递归界。
• 推导出一个通用的组合规则，将单个信道的 SDPIs 组合为整个网络的全局 SDPI。
• 通过利用 $n=1$ 情况下 SDPI 的 $n$-字母扩展，将该方法应用于带反馈的无记忆信道。
• 通过将其应用于三种不同类型的 SDPIs，展示其通用性，表明其在所有情况下均能获得一致且紧致的界。

实验结果

研究问题

• RQ1 如何在贝叶斯网络中组合多个信道的强数据处理不等式，以获得全局的端到端界？
• RQ2 Evans-Schulman 方法能否推广以处理不同类型的压缩系数，包括 $F_I$-曲线？
• RQ3 在已知 $n=1$ 情况下，带反馈的 $n$-字母无记忆信道的最紧可能 SDPI 是什么？
• RQ4 在网络组合下，不同统计依赖度量——互信息、总变差和 $F_I$-曲线——的行为如何？
• RQ5 贝叶斯网络的何种结构特性使得 SDPIs 能够从单个信道传播至整个网络？

主要发现

• Evans-Schulman 方法成功推广至贝叶斯网络中，用于推导 Ahlsweede-Gács、Dobrushin 和 $F_I$-curve 系数的端到端 SDPIs。
• 建立了组合规则，可将单个信道的 SDPIs 组合为全局 SDPI，同时在整个网络中保持紧致性。
• 对于带反馈的 $n$-字母无记忆信道，从 $n=1$ 情况推导出的 SDPI 被证明有效且紧致，扩展了先前结果。
• $F_I$-曲线为给定信道提供了最优的 SDPI，其使用可实现最紧致的端到端界。
• 该方法在不同信息度量下均表现稳健，对互信息和总变差均展现出一致的性能。