[论文解读] Exponent Function for Source Coding with Side Information at the Decoder at Rates below the Rate Distortion Function

Yasutada Oohama|arXiv (Cornell University)|Jan 21, 2016

Wireless Communication Security Techniques参考文献 8被引用 12

一句话总结

本文在压缩速率低于率失真函数时，建立了编码器端存在辅信息的Wyner-Ziv源编码的错误指数。推导出超出失真概率的指数衰减率的显式下界，并作为推论证明了强对偶定理，从而解决了分布式源编码领域长期存在的开放问题。

ABSTRACT

We consider the rate distortion problem with side information at the decoder posed and investigated by Wyner and Ziv. The rate distortion function indicating the trade-off between the rate on the data compression and the quality of data obtained at the decoder was determined by Wyner and Ziv. In this paper, we study the error probability of decoding at rates below the rate distortion function. We evaluate the probability of decoding such that the estimation of source outputs by the decoder has a distortion not exceeding a prescribed distortion level. We prove that when the rate of the data compression is below the rate distortion function this probability goes to zero exponentially and derive an explicit lower bound of this exponent function. On the Wyner-Ziv source coding problem the strong converse coding theorem has not been established yet. We prove this as a simple corollary of our result.

研究动机与目标

• 分析当压缩速率低于率失真函数时，Wyner-Ziv源编码中译码错误概率的问题。
• 推导出该情形下超出失真概率的指数衰减率（错误指数）的显式下界。
• 作为主结果的推论，建立Wyner-Ziv问题的强对偶定理。
• 解决在译码器端存在辅信息的源编码中证明强对偶定理的开放问题。

提出的方法

• 使用精心构造的编码与译码函数集合的随机编码方法。
• 应用类型法与大偏差理论分析超出失真概率。
• 引入辅助随机变量与倾斜分布，利用变分技术推导错误指数的界。
• 通过一系列不等式与集中性论证，限制译码错误事件的概率。
• 通过在辅助随机变量与失真约束上进行优化，推导出指数函数。
• 通过证明任何低于率失真函数的速率均导致错误概率指数衰减至零，将强对偶定理作为推论使用。

实验结果

研究问题

• RQ1 当压缩速率低于Wyner-Ziv率失真函数时，超出失真概率的指数衰减率是多少？
• RQ2 能否为译码器端存在辅信息的Wyner-Ziv源编码问题证明强对偶定理？
• RQ3 在此情形下，错误指数的最紧下界是什么？
• RQ4 错误指数如何依赖于源统计特性、失真水平与辅信息？
• RQ5 在率失真极限以下，速率、失真与错误概率之间是否存在根本性权衡？

主要发现

• 当速率低于Wyner-Ziv率失真函数时，超出失真概率呈指数快速衰减。
• 推导出错误指数的显式下界，其依赖于源分布、失真水平与辅信息。
• 作为主结果的直接推论，证明了Wyner-Ziv问题的强对偶定理。
• 对于所有低于率失真函数的速率，错误指数严格为正，确认了在此类速率下可靠通信的不可能性。
• 所推导的指数界在大块长极限下与已知渐近行为一致，具有紧致性。
• 该方法为分析存在辅信息的分布式源编码中的错误指数提供了一个可构造的框架。