[论文解读] Distributed Source Coding for Correlated Memoryless Gaussian Sources

Yasutada Oohama|arXiv (Cornell University)|Aug 27, 2009

Wireless Communication Security Techniques参考文献 18被引用 3

一句话总结

本文为具有 L 个相关联的无记忆高斯源的分布式信源编码系统中，速率失真区域建立了显式的内界和外界界。这些源是 K 维高斯源向量的噪声观测。主要贡献在于对总失真准则区域的紧密刻画，以及一种新颖的对偶性，将远程（间接）信源编码与多终端（直接）信源编码联系起来，从而为长期存在的高斯 CEO 问题提供了新的部分解。

ABSTRACT

We consider a distributed source coding problem of $L$ correlated Gaussian observations $Y_i, i=1,2,...,L$. We assume that the random vector $Y^{L}={}^{ m t} (Y_1,Y_2,$ $...,Y_L)$ is an observation of the Gaussian random vector $X^K={}^{ m t}(X_1,X_2,...,X_K)$, having the form $Y^L=AX^K+N^L ,$ where $A$ is a $L imes K$ matrix and $N^L={}^{ m t}(N_1,N_2,...,N_L)$ is a vector of $L$ independent Gaussian random variables also independent of $X^K$. The estimation error on $X^K$ is measured by the distortion covariance matrix. The rate distortion region is defined by a set of all rate vectors for which the estimation error is upper bounded by an arbitrary prescribed covariance matrix in the meaning of positive semi definite. In this paper we derive explicit outer and inner bounds of the rate distortion region. This result provides a useful tool to study the direct and indirect source coding problems on this Gaussian distributed source coding system, which remain open in general.

研究动机与目标

• 推导具有 L 个相关高斯观测的分布式信源编码系统中，速率失真区域的显式内界和外界界。
• 解决编码器观测到同一源向量的噪声版本的远程信源编码问题。
• 为高斯源的间接（远程）与直接多终端信源编码问题建立对偶关系。
• 为二次高斯 CEO 问题及相关多终端速率失真问题提供新的部分解。

提出的方法

• 系统建模为 L 个噪声观测 Y^L = A X^K + N^L，其中 X^K 是 K 维零均值高斯源，N^L 为独立的高斯噪声。
• 失真通过估计误差协方差矩阵来衡量，采用两种准则：向量失真（对角线元素有界）和总失真（迹有界）。
• 利用信息论不等式（包括熵功率不等式和条件互信息分解）推导外界界。
• 通过结构化编码方案构造内界，特别利用高斯混合和类似脏纸编码的技术。
• 建立远程信源编码问题与直接多终端信源编码问题之间的关键对偶性，表明一种问题的解可转化为另一种问题的解。
• 分析使用 n 字符扩展中的渐近熵和互信息界，结合马尔可夫链与条件熵分解，推导出紧致不等式。

实验结果

研究问题

• RQ1 在具有相关高斯源和噪声观测的分布式信源编码系统中，速率失真区域的显式内界和外界界是什么？
• RQ2 在远程信源编码模型中，总失真准则区域的行为如何？在何种条件下该界是紧致的？
• RQ3 远程信源编码问题的解能否转化为直接多终端信源编码问题的解？
• RQ4 矩阵 A 在此系统中如何影响速率失真权衡？
• RQ5 间接与直接信源编码之间的对偶性如何简化高斯 CEO 问题的分析？

主要发现

• 本文为向量失真和总失真准则均推导出显式的外界界和内界，完整刻画了高斯情况下速率失真区域的特性。
• 对于总失真准则，推导出一个匹配条件，使得内界与外界界重合，表明该区域刻画是紧致的。
• 对偶性结果表明，任何远程信源编码问题的解均可转换为直接多终端信源编码问题的解，反之亦然。
• 当 K=1 时，该模型退化为二次高斯 CEO 问题，所推导的界与先前研究中的已知结果一致。
• 证明在标量源（K=1）和总失真情况下，内界是紧致的，与已知最优总速率相匹配。
• 分析表明，最优编码策略涉及线性估计与结构化量化相结合，界中的互信息项反映了估计后的有效信噪比。