[论文解读] Low density codes achieve the rate-distortion bound

Emin Martinian, Martin J. Wainwright|ArXiv.org|Jan 30, 2006

Error Correcting Code Techniques参考文献 9被引用 14

一句话总结

本文提出了一种具有可调参数的新型低密度生成矩阵（LDGM）构造方法，在汉明失真下实现了二元对称信源的理论限速率-失真性能。通过将LDGM码与LDPC码结合成复合结构，并运用严格的概率分析，作者证明了在最优编码算法下可实现最优失真，表明低密度码能够达到信息论界的极限。

ABSTRACT

We propose a new construction for low-density source codes with multiple parameters that can be tuned to optimize the performance of the code. In addition, we introduce a set of analysis techniques for deriving upper bounds for the expected distortion of our construction, as well as more general low-density constructions. We show that (with an optimal encoding algorithm) our codes achieve the rate-distortion bound for a binary symmetric source and Hamming distortion. Our methods also provide rigorous upper bounds on the minimum distortion achievable by previously proposed low-density constructions.

研究动机与目标

• 开发一种低密度源码构造方法，可严格实现失真信源编码的速率-失真界。
• 解决低密度码在失真信源编码中理论结果匮乏的问题，尤其与它们在信道编码中的成功形成对比。
• 提供一种使用概率与信息论工具分析低密度源码失真的框架。
• 证明基于LDGM的构造方法在均匀二元信源下，于汉明失真下可实现最优性能。
• 为现有低密度构造（包括标准LDGM码）建立失真上界，提供严格分析。

提出的方法

• 引入一种复合码结构，结合LDGM码（顶层）与LDPC码（底层），其中中间层的有效赋值受LDPC码约束。
• 基于逐列揭示生成矩阵列，使用Doob鞅证明失真围绕其典型值的指数集中性。
• 应用Azuma-Hoeffding不等式，限制失真显著偏离其期望值的概率，表明此类偏离为指数罕见。
• 应用Sanov定理，通过相对熵（Kullback-Leibler散度）上界估计随机码字与信源序列间距离在给定失真范围内的概率。
• 利用条件概率与矩不等式推导在失真D范围内的码字期望数量，借助引理5表明成功概率非指数衰减。
• 基于至少存在一个优良码字的条件概率（其概率为反多项式），结合集中性分析，推导出典型失真为最优。

实验结果

研究问题

• RQ1 能否构造出低密度源码，使其在二元对称信源下达到信息论的速率-失真极限？
• RQ2 可采用哪些分析技术严格界定低密度源码中期望失真的上界？
• RQ3 复合LDGM-LDPC构造是否能在汉明失真下实现最优性能？若能，其条件为何？
• RQ4 能否利用所提出的框架对标准LDGM码的性能进行严格上界估计？
• RQ5 在失真D范围内找到优良码字的成功概率是否为指数级小，还是仅为多项式级小，从而支持集中性分析？

主要发现

• 所提出的复合LDGM-LDPC码构造在使用最优编码算法时，可实现均匀二元信源在汉明失真下的速率-失真界。
• 至少存在一个码字在失真D范围内的概率下界为(1/2)(n+1)⁻²，该值为反多项式，非指数级小。
• 失真在典型值附近呈指数集中，意味着以高概率，实际失真与期望失真一致。
• 分析表明事件{z(D) > 0}（存在优良码字）决定了典型失真，意味着典型失真为最优。
• 该方法为标准LDGM码的最小可实现失真提供了严格上界，表明其可逼近理论极限。
• 结果表明，只要存在高效编码算法，低密度码可严格实现失真信源编码中的最优性能。