[论文解读] An Extremal Inequality for Long Markov Chains

Thomas A. Courtade, Jiantao Jiao|arXiv (Cornell University)|Apr 28, 2014

Wireless Communication Security Techniques参考文献 6被引用 4

一句话总结

本文建立了一类涉及联合高斯向量的长马尔可夫链的新极值不等式，统一并推广了二次高斯信源编码中的既有结果。关键贡献是基于矩阵的不等式，关联了在马尔可夫约束下四个随机变量之间的互信息，从而可直接推导出两编码器二次高斯信源编码问题的和速率区域，并可获得关于最小体积椭球在速率约束下的近似的新结果。

ABSTRACT

Let $X,Y$ be jointly Gaussian vectors, and consider random variables $U,V$ that satisfy the Markov constraint $U-X-Y-V$. We prove an extremal inequality relating the mutual informations between all ${4 \choose 2}$ pairs of random variables from the set $(U,X,Y,V)$. As a first application, we show that the rate region for the two-encoder quadratic Gaussian source coding problem follows as an immediate corollary of the the extremal inequality. In a second application, we establish the rate region for a vector-Gaussian source coding problem where Löwner-John ellipsoids are approximated based on rate-constrained descriptions of the data.

研究动机与目标

• 推导在马尔可夫约束下涉及联合高斯向量及辅助随机变量的长马尔可夫链的新极值不等式。
• 统一并推广现有在二次高斯信源编码中的结果，特别是Oohama和Wagner等人提出的和速率约束。
• 为向量高斯信源编码建立新的率失真区域，其中Löwner-John椭球通过速率约束的描述进行近似。
• 为在速率约束下对有限点集覆盖的最小体积椭球的分布式压缩提供理论基础。

提出的方法

• 推导出在马尔可夫链 U–X–Y–V 约束下，四个随机变量 U、X、Y、V 之间所有两两互信息的矩阵不等式。
• 将不等式应用于 X 和 Y 为相关系数为 ρ 的联合高斯向量的情形，并利用高斯向量和互信息的性质简化表达式。
• 将不等式改写为归一化互信息的形式，并应用詹森不等式及高斯分布的最大熵性质，推导出估计误差的上界。
• 利用该极值不等式，将两编码器二次高斯信源编码问题的和速率约束作为直接推论恢复出来。
• 将不等式应用于新问题：最小体积椭球的分布式压缩，其中椭球由正定矩阵 A 和向量 b 定义。
• 采用一致可积性和集中性论证，分析在条件期望下微分熵和估计误差的渐近行为。

实验结果

研究问题

• RQ1 一个单一的极值不等式能否统一Oohama和Wagner等人在两编码器二次高斯信源编码问题中推导出的和速率约束？
• RQ2 所提出的极值不等式是否能用于推导出向量高斯信源编码中最小体积椭球近似的新率失真界？
• RQ3 在高维空间中，覆盖点集的椭球体积与速率约束之间的基本权衡关系是什么？
• RQ4 在长马尔可夫链约束下，互信息结构如何影响高斯设定中估计误差的表现？
• RQ5 该极值不等式能否用于推导出在速率约束编码下椭球最小可实现体积的紧致界？

主要发现

• 极值不等式 (1) 提供了一个统一框架，可直接作为推论恢复出两编码器二次高斯信源编码问题的和速率约束。
• 在标量情形且相关系数为 ρ 时，当 V 退化时，该不等式退化为与Oohama结果一致的形式，并通过二次公式变形恢复出Wagner等人提出的和速率约束。
• 推导出的和速率约束为 R ≥ ½ log[(1−ρ²)β(dx dy)/(2 dx dy)]，其中 β(D) = 1 + √(1 + 4ρ²D/(1−ρ²)²)，确立了率失真权衡关系。
• 该不等式首次实现了对最小体积椭球分布式压缩的速率区域的表征，其中在速率约束下最小化椭球体积。
• 本文证明了熵差中除以 1/n 的归一化是必不可少的，通过反例表明在特定条件下的未归一化熵差可能发散。
• 建立了似然比过程的一致可积性，确保在渐近情形下微分熵和估计误差项的收敛性。