[论文解读] Compress and Estimate in Multiterminal Source Coding

Alon Kipnis, Stefano Rini+1 more|arXiv (Cornell University)|Feb 6, 2016

Wireless Communication Security Techniques参考文献 15被引用 4

一句话总结

本文提出了一种用于多终端远程源编码的压缩与估计（CE）方案，其中分布式编码器对源的噪声观测值进行压缩以最小化本地失真，中央估计器则利用编码器输出重构源信号。主要贡献是首次对CE失真-率函数（CE-DRF）进行了单字母表征，该表征在记忆无失真信道下对独立同分布（i.i.d.）源是最优的，并为高斯源和二元源分别在二次失真和汉明失真下推导出闭式表达式。

ABSTRACT

We consider a multiterminal remote source coding problem in which a source sequence is estimated from the output of multiple source encoders, each having access only to a noisy observation of the source realization. Each remote encoder compresses its noisy observation sequence so as to minimize a local distortion measure which depends only on the distribution of its observed sequence, and is otherwise independent from the distribution of the underlying source. The latter is estimated at a central location from the output of each of the remote encoders. This source compression and estimation scenario leads to an achievable scheme for the remote multiterminal source coding problem which we term the compress-and-estimate (CE) scheme. For the case of a source with independently and identically distributed (i.i.d) elements observed through multiple memoryless channels, we derive a single-letter expression for the distortion in the CE scheme, which we refer to as the CE distortion-rate function (CE-DRF). We prove that the CE-DRF can be achieved by estimating the source realization from the output of any set of encoders, as long as each encoder attains its local rate-distortion function. We prove in addition a converse result saying that, for large enough blocklength, the distortion in estimating a finite sub-block of the source from the output of such encoders, averaged over all sub-blocks, does not exceed the CE-DRF. Finally, we derive closed-form expressions for the CE-DRF in the case of a Gaussian source observed through multiple AWGN channels under quadratic distortion, and for the case of a binary source observed through multiple biflip channels under Hamming distortion.

研究动机与目标

• 解决编码器观测到源的噪声版本并需在本地失真约束下进行压缩的远程多终端源编码问题。
• 提出一种统一方案——压缩与估计（CE）——使中央解码器能利用压缩观测值实现精确的源信号估计。
• 通过单字母表达式（即CE失真-率函数，CE-DRF）表征该设置下的基本失真极限，适用于i.i.d.源。
• 证明当每个编码器达到其本地率-失真函数时，CE-DRF是可实现的，并且在长块长下可作为反向界。
• 推导出在特定源与信道模型下的CE-DRF闭式表达式：高斯源通过加性白高斯噪声（AWGN）信道，以及二元源通过双翻转（biflip）信道。

提出的方法

• CE方案将压缩与估计分离：每个远程编码器独立于源分布，压缩其噪声观测值以最小化本地失真度量。
• 中央估计器利用所有编码器的输出进行源信号重构，将压缩数据视为估计的充分统计量。
• 对于通过记忆无失真信道观测的i.i.d.源，本文利用信息论技术推导出CE-DRF的单字母表达式。
• 该方案被证明是最优的：对于长块长，任意有限子块的平均失真无法超过CE-DRF。
• 在二次失真和汉明失真度量下，利用互信息与散度度量推导出CE-DRF的闭式表达式。
• 分析利用了记忆无失真信道的结构以及源符号的独立性，以简化失真表征。

实验结果

研究问题

• RQ1 分布式压缩与估计策略是否能实现多终端远程源编码中的基本失真极限？
• RQ2 是否存在对i.i.d.源的压缩与估计方案可实现失真的单字母表征？
• RQ3 当估计源的有限子块时，CE-DRF是否可作为长块长下的反向界？
• RQ4 在二次失真下，通过多个AWGN信道观测的高斯源，其CE-DRF的显式形式为何？
• RQ5 在汉明失真下，通过多个双翻转信道观测的二元源，其CE-DRF的表达式为何？

主要发现

• 对于通过记忆无失真信道观测的i.i.d.源，推导出CE-DRF的单字母表达式，为压缩与估计方案提供了基本极限。
• 当每个远程编码器达到其本地率-失真函数时，CE-DRF是可实现的，且不依赖于源分布。
• 对于长块长，任意有限子块的平均失真无法超过CE-DRF，从而确立了反向结果。
• 对于通过多个AWGN信道观测的高斯源，CE-DRF由涉及信噪比与编码器数量的闭式表达式给出。
• 对于通过多个双翻转信道观测的二元源，在汉明失真下推导出CE-DRF的闭式表达式，反映了误码概率与编码器速率的影响。
• 证明CE-DRF是紧致且最优的：在相同编码器约束下，任何方案都无法实现更低的失真。