[论文解读] The Common Information of N Dependent Random Variables

Wei Liu, Ge Xu+1 more|arXiv (Cornell University)|Oct 18, 2010

Wireless Communication Security Techniques参考文献 10被引用 8

一句话总结

本文将温纳的公共信息概念从两个随机变量推广至N个依赖的随机变量，通过两个编码定理建立其操作意义：一个具有N个解码器的广义Gray-Wyner源网络，以及一个公共随机性生成模型。主要贡献在于证明了N个变量的公共信息（定义为联合源与一个公共辅助变量之间互信息的最小值）在操作解释上与两变量情况保持一致。

ABSTRACT

This paper generalizes Wyner's definition of common information of a pair of random variables to that of $N$ random variables. We prove coding theorems that show the same operational meanings for the common information of two random variables generalize to that of $N$ random variables. As a byproduct of our proof, we show that the Gray-Wyner source coding network can be generalized to $N$ source squences with $N$ decoders. We also establish a monotone property of Wyner's common information which is in contrast to other notions of the common information, specifically Shannon's mutual information and Gács and Körner's common randomness. Examples about the computation of Wyner's common information of $N$ random variables are also given.

研究动机与目标

• 将温纳对两个随机变量的公共信息定义推广至N个依赖的随机变量。
• 通过编码定理为广义公共信息建立操作意义。
• 证明N个变量的公共信息关于变量数量具有单调性，与互信息及Gács-Körner公共随机性等其他概念形成对比。
• 将Gray-Wyner源编码网络推广至N个源和N个解码器。
• 提供可计算的实例并建立广义公共信息的界。

提出的方法

• 将N个随机变量的公共信息定义为 $ C(X_1, \bar{X}_2, \bar{X}_N) = \min_{W} I(X_1X_2\cdots X_N; W) $，其中对所有 $ i \neq j $，满足 $ X_i \rightarrow W \rightarrow X_j $ 的马尔可夫链关系。
• 通过一个包含公共消息 $ W_0 $ 和个体消息 $ W_1, \dots, W_N $ 的广义Gray-Wyner网络证明可实现性，表明满足 $ R_0 \geq I(X_1\cdots X_N; W) $ 和 $ R_i \geq H(X_i|W) $ 的速率是可实现的。
• 利用法诺不等式和马尔可夫链约束建立反向界，表明任何可实现的速率元组必须满足 $ R_0 \geq I(X_1\cdots X_N; W) $ 和 $ R_i \geq H(X_i|W) $（对每个 $ i $）。
• 使用时分复用和基数界技术，证明辅助变量 $ W $ 可被限制在大小至多为 $ \max_{i} |\mathcal{X}_i| + 1 $ 的有限字母表上。
• 证明两种操作模型的等价性：(1) 具有N个解码器的源编码，以及 (2) 通过共享输入 $ W $ 实现的公共随机性生成，表明两者均达到相同的速率 $ C(X_1, \dots, X_N) $。
• 应用标准的信息论工具，包括数据处理不等式和微熵与互信息的链式法则。

实验结果

研究问题

• RQ1 如何将温纳对两个随机变量的公共信息概念推广至N个依赖的随机变量？
• RQ2 温纳公共信息的两种操作解释——源编码与公共随机性生成——是否可推广至N变量情形？
• RQ3 N个随机变量的公共信息是否表现出关于变量数量的单调性？与互信息及Gács-Körner公共随机性等其他概念相比有何差异？
• RQ4 Gray-Wyner网络能否推广至支持N个源和N个解码器？其可实现速率区域是什么？
• RQ5 如何显式计算N个随机变量的公共信息？其结果与已知情形相比如何？

主要发现

• 广义公共信息 $ C(X_1, \dots, X_N) $ 定义为 $ \min_W I(X_1\cdots X_N; W) $，其中 $ W $ 在 $ X_i $ 之间诱导出条件独立性。
• N个变量的公共信息具有单调性：在边际分布保持不变的前提下，其值不会随变量数量的增加而减少。
• 公共信息的操作意义得以保留：在广义Gray-Wyner网络中，N个解码器实现可靠重构所需的最小速率 $ R_0 $ 恰好等于 $ C(X_1, \dots, X_N) $。
• 通过共享输入 $ W $ 实现的公共随机性生成模型同样达到相同的最小速率 $ R_0 = C(X_1, \dots, X_N) $，从而证明了两种操作模型的等价性。
• 当 $ X_i = (X_i', V) $ 且 $ X_j = (X_j', V) $，其中 $ X_i', X_j', V $ 相互独立时，有 $ C(X_1, \dots, X_N) = H(V) $，该结果与互信息及Gács-Körner公共随机性一致。
• 反向证明表明，任何可实现的速率元组必须满足 $ R_0 \geq I(X_1\cdots X_N; W) $ 和 $ R_i \geq H(X_i|W) $，从而确认了边界的紧致性。