[论文解读] Lattices for Distributed Source Coding: Jointly Gaussian Sources and Reconstruction of a Linear Function

Dinesh Krithivasan, S. Sandeep Pradhan|ArXiv.org|Jul 23, 2007

Wireless Communication Security Techniques参考文献 48被引用 9

一句话总结

该论文提出了一种基于格的编码方案，用于联合高斯源的分布式源编码，其中解码器以最小均方误差重构源的线性组合。通过直接量化线性函数而非各个源，该方案在某些参数范围内实现了更优的率失真权衡，利用格矢量量化和相关格结构分组推导出最优率区域的内界。

ABSTRACT

Consider a pair of correlated Gaussian sources (X1,X2). Two separate encoders observe the two components and communicate compressed versions of their observations to a common decoder. The decoder is interested in reconstructing a linear combination of X1 and X2 to within a mean-square distortion of D. We obtain an inner bound to the optimal rate-distortion region for this problem. A portion of this inner bound is achieved by a scheme that reconstructs the linear function directly rather than reconstructing the individual components X1 and X2 first. This results in a better rate region for certain parameter values. Our coding scheme relies on lattice coding techniques in contrast to more prevalent random coding arguments used to demonstrate achievable rate regions in information theory. We then consider the case of linear reconstruction of K sources and provide an inner bound to the optimal rate-distortion region. Some parts of the inner bound are achieved using the following coding structure: lattice vector quantization followed by "correlated" lattice-structured binning.

研究动机与目标

• 解决两个或多个联合高斯源的分布式源编码问题，其中解码器以均方误差最小化方式重构源的线性组合。
• 通过直接重构线性函数而非各个源，利用格编码技术改进现有率失真极限。
• 使用基于格的结构化编码推导该问题最优率失真区域的内界。
• 将该方案扩展至K个源，并利用格矢量量化和相关格结构分组分析性能。
• 表明在某些参数值下，所提出的基于格的方案优于传统方法，特别是在高信噪比或非对称相关性区域。

提出的方法

• 每个编码器使用格矢量量化对观测源的缩放版本进行量化。
• 每个编码器对量化输出执行格结构分组，利用源之间的相关性。
• 解码器使用基于格的估计规则重构线性组合 $ Z = oldsymbol{c}^T oldsymbol{X} $，以最小化均方误差。
• 解码函数表示为 $ oldsymbol{ ilde{Z}} = \frac{\boldsymbol{c}^T \boldsymbol{\bar{\theta}}}{\boldsymbol{\bar{\theta}}^T \boldsymbol{\bar{\theta}} + q} (\boldsymbol{\theta} + \boldsymbol{Q}) $，其中 $ \boldsymbol{\theta} $ 为缩放后的源向量，$ \boldsymbol{Q} $ 为随机扰偏。
• 失真被解析表达为 $ D = \text{Var}(Z) - \frac{(\boldsymbol{c}^T \boldsymbol{\bar{\theta}})^2}{\boldsymbol{\bar{\theta}}^T \boldsymbol{\bar{\theta}} + q} $，其中 $ q $ 的选择以最小化失真。
• 率区域被推导为 $ \textstyle\bigcup_{\boldsymbol{\theta}} \bigcap_{i=1}^K \big\backslash R_i \text{ 使得 } \textstyle\textstyle\bigsum_{i=1}^K 2^{-2R_i} \text{ 受失真和源相关性的函数有界。}

实验结果

研究问题

• RQ1 当重构联合高斯源的线性函数时，基于格的编码能否实现优于传统方案的率失真权衡？
• RQ2 与分别重构各个源相比，直接重构线性函数是否能为分布式源编码提供更大的可实现率区域？
• RQ3 在给定失真约束下，如何选择最优的缩放因子 $ \boldsymbol{\theta} $ 和分组参数 $ q_i $ 以最大化率区域？
• RQ4 在联合高斯情况下采用线性重构时，该基于格的方案与 Berger-Tung 内界相比性能如何？
• RQ5 在高维情况下使用最优格量化器时，重构误差和量化噪声的渐近行为如何？

主要发现

• 所提出的基于格的方案为联合高斯源的分布式源编码（线性重构）提供了最优率失真区域的内界。
• 在某些参数值下，特别是当源高度相关或线性函数与源相关结构高度对齐时，该方案优于先重构各个源的传统方法。
• 当缩放向量 $ \boldsymbol{\theta} $ 与系数向量 $ \boldsymbol{c} $ 对齐时，即 $ \boldsymbol{\theta} = \rho \boldsymbol{c} $，失真最小化，此时率区域最大。
• 当块长 $ n \to \infty $ 时，有效量化噪声 $ e_q $ 以 Kullback-Leibler 散度收敛于均值为零、协方差为 $ (\theta^T \boldsymbol{\bar{\theta}} + q) \boldsymbol{I} $ 的白高斯向量，确保渐近最优性。
• 率区域为 $ \textstyle\bigsum_{i=1}^K 2^{-2R_i} \text{ 受 } 1 - (\text{Var}(Z) - D) \frac{\boldsymbol{\theta}^T \boldsymbol{\bar{\theta}}}{(\boldsymbol{c}^T \boldsymbol{\bar{\theta}})^2} \text{ 有界} $，当 $ \boldsymbol{\theta} \text{ 与 } \boldsymbol{c} \text{ 平行时达到最大值。
• 使用格编码实现了结构化、确定性的方法，避免了随机编码论证的需要，为分布式函数重构提供了更实用且可分析的框架。