[论文解读] Analysis of LDGM and compound codes for lossy compression and binning

Emin Martinian, Martin J. Wainwright|ArXiv.org|Feb 13, 2006

Cellular Automata and Applications参考文献 18被引用 24

一句话总结

本文分析了低密度生成矩阵（LDGM）码以及一种新颖的LDPC/LDGM复合构造，用于有损压缩，证明该复合构造可在有限度数下达到香农的率失真极限。通过基于二阶矩方法和大偏差分析的严格上界，表明随着校验度增加，LDGM码能迅速逼近理论极限，而复合设计则通过LDPC预编码引起的码字分离消除了残余差距。

ABSTRACT

Recent work has suggested that low-density generator matrix (LDGM) codes are likely to be effective for lossy source coding problems. We derive rigorous upper bounds on the effective rate-distortion function of LDGM codes for the binary symmetric source, showing that they quickly approach the rate-distortion function as the degree increases. We also compare and contrast the standard LDGM construction with a compound LDPC/LDGM construction introduced in our previous work, which provably saturates the rate-distortion bound with finite degrees. Moreover, this compound construction can be used to generate nested codes that are simultaneously good as source and channel codes, and are hence well-suited to source/channel coding with side information. The sparse and high-girth graphical structure of our constructions render them well-suited to message-passing encoding.

研究动机与目标

• 针对最大似然译码下的标准LDGM码，严格界定其有效率失真函数。
• 分析一种复合LDPC/LDGM构造，使其能同时作为源码和信道码实现优异性能。
• 证明有限度数的LDPC/LDGM码可饱和香农率失真界限，克服标准LDGM码的局限性。
• 为在具有侧信息的源/信道编码中使用稀疏图码提供理论基础。
• 将理论界限与实际消息传递算法（特别是调查传播）相连接。

提出的方法

• 使用二阶矩方法和大偏差上界，推导出校验度规则的LDGM集合的有效率失真函数的严格上界。
• 提出一种复合LDPC/LDGM构造，其中LDGM码通过LDPC码预编码，以改善码字分离和性能。
• 采用具有三层的联合因子图模型：信息比特、LDGM编码和LDPC校验，确保码字同时满足生成矩阵和校验矩阵约束。
• 通过函数 $ V(v; D, \theta_t) $ 推导出复合码的率失真函数上界，该函数依赖于LDPC权重枚举函数 $ \mathcal{A}(v) $ 和码率。
• 分析LDPC度分布，以确保 $ \mathcal{A}(v) $ 在零附近为负，防止性能超调，从而实现率失真极限的饱和。
• 应用非严格统计物理方法（如空腔法）指导设计，同时将结果建立在有限度数的严格分析基础上。

实验结果

研究问题

• RQ1 能否在所有失真 $ D \in [0, 0.5] $ 下，为LDGM码的有效率失真函数建立严格上界？
• RQ2 复合LDPC/LDGM构造能否在有限度数下达到香农率失真界限，而标准LDGM码无法实现？
• RQ3 LDPC预编码如何改善LDGM码中码字的分离？LDPC权重枚举函数 $ \mathcal{A}(v) $ 发挥了什么作用？
• RQ4 此类复合码能否用于构建适用于具有侧信息的源编码和信道编码的嵌套码？
• RQ5 在实际中，像调查传播这样的消息传递算法在LDGM码和复合构造上的表现如何？

主要发现

• 随着校验度 $ \gamma_t $ 增加，校验度规则的LDGM码的有效率失真函数迅速逼近香农下界，但有限度数下仍存在非零残余差距。
• 当LDPC码的权重枚举函数 $ \mathcal{A}(v) $ 在零附近为负时，复合LDPC/LDGM构造可在有限度数下实现香农率失真界限，防止性能超调。
• 对于 $ \gamma_t = 4 $、LDPC度数 $ (\gamma_v, \gamma_c) = (4,8) $、$ R(\mathbf{G}) = 1 $、$ R(\mathbf{H}) = 0.5 $ 的复合码，上界 $ R_{\text{com}}(D; \gamma_t) $ 在 $ D = 0.11 $ 时仍低于香农极限 $ R = 0.5 $，证明了饱和性。
• 该复合构造支持嵌套码设计，适用于Wyner-Ziv源编码和具有侧信息的Gelfand-Pinsker信道编码。
• 基于调查传播的消息传递算法在优化度分布的LDGM码上，可实现接近香农极限的率失真性能。
• 分析表明，该复合构造通过利用LDPC预编码将有效信息序列展开，避免了标准LDGM码的根本缺陷——码字分离不良。