[论文解读] Communication Requirements for Generating Correlated Random Variables

Paul Cuff|ArXiv.org|May 1, 2008

Bayesian Modeling and Causal Inference参考文献 4被引用 13

一句话总结

本文刻画了在模拟离散无记忆信道时，公共随机性与描述速率之间的权衡，表明当存在公共随机性时互信息已足够，而当不存在此类随机性时则需要使用Wyner的公共信息。通过信息论技术推导出最优速率区域，解决了Wyner与Bennett-Shor结果之间长期存在的矛盾。

ABSTRACT

Two familiar notions of correlation are rediscovered as extreme operating points for simulating a discrete memoryless channel, in which a channel output is generated based only on a description of the channel input. Wyner's "common information" coincides with the minimum description rate needed. However, when common randomness independent of the input is available, the necessary description rate reduces to Shannon's mutual information. This work characterizes the optimal tradeoff between the amount of common randomness used and the required rate of description.

研究动机与目标

• 解决Wyner的公共信息与Bennett-Shor的反向香农定理在信道模拟中看似矛盾的问题。
• 刻画在给定联合分布下，公共随机性速率与模拟离散无记忆信道所需描述速率之间的最优权衡。
• 建立当存在公共随机性时互信息足以实现信道模拟，而当不存在时则需要公共信息的理论基础。
• 提供一个适用于合作博弈论的框架，特别是在通信受限的重复博弈中。

提出的方法

• 构建一个信道模拟问题，其中编码器将i.i.d.源信号描述给解码器，解码器利用描述信息和可能的公共随机性生成相关输出。
• 采用总变差距离作为模拟输出与真实信道输出分布之间统计不可区分性的度量。
• 通过分析序列与辅助随机变量的联合分布，结合马尔可夫链和典型序列，推导出最优速率区域。
• 提出一种基于辅助序列（U^n）的随机码本编码方案，这些序列与X^n联合典型，使解码器能够基于U^n条件生成Y^n。
• 应用数据处理不等式与互信息分解推导对偶界，证明当无公共随机性时，联合分布的公共信息是最低速率。
• 引入时间共享随机变量W，统一不同相关性水平的策略，从而在博弈论设定下推导出给定收益下的最优速率。

实验结果

研究问题

• RQ1 当不存在公共随机性时，模拟离散无记忆信道所需的最小描述速率是多少？
• RQ2 公共随机性的存在如何降低信道模拟中所需的描述速率？
• RQ3 对于给定的联合分布，能否精确刻画公共随机性速率与描述速率之间的权衡？
• RQ4 该信道模拟框架与通信受限的重复博弈中的博弈论协调有何关联？
• RQ5 Wyner的公共信息与互信息在信道模拟中的操作意义是什么？

主要发现

• 当不存在公共随机性时，模拟离散无记忆信道所需的最小描述速率等于Wyner的公共信息C(X;Y)。
• 当公共随机性以速率R2可用时，所需描述速率R1可降低至互信息I(X;Y)，从而进入反向香农定理的区域。
• 公共随机性速率R2与描述速率R1之间的最优权衡被刻画为一个凸区域，互信息与公共信息为其极端点。
• 在通信受限的重复博弈中，实现给定收益所需的最小通信速率等于所有实现该收益的策略中公共信息的最小值。
• 对偶证明表明，任何可实现速率必须满足H(U) ≥ I(X^n, Y^n; U)，当对时间平均时，这导致一个涉及公共信息的下界。
• 可实现方案使用与X^n联合典型的辅助序列（U^n）的随机码本，使解码器能够基于U^n和描述信息条件生成Y^n。