[论文解读] Low-density graph codes that are optimal for source/channel coding and binning

Martin J. Wainwright, Emin Martinian|ArXiv.org|Apr 13, 2007

Error Correcting Code Techniques参考文献 49被引用 12

一句话总结

本文提出一类结合低密度生成矩阵（LDGM）码与低密度奇偶校验（LDPC）码的稀疏图码，在最优编码/译码下实现了源编码与信道编码的最优性能。证明了有限度构造可实现二元对称源的率失真曲线上的任意点，以及二元对称信道的容量-噪声曲线上的任意点，适用于Wyner-Ziv与Gelfand-Pinsker问题。

ABSTRACT

We describe and analyze the joint source/channel coding properties of a class of sparse graphical codes based on compounding a low-density generator matrix (LDGM) code with a low-density parity check (LDPC) code. Our first pair of theorems establish that there exist codes from this ensemble, with all degrees remaining bounded independently of block length, that are simultaneously optimal as both source and channel codes when encoding and decoding are performed optimally. More precisely, in the context of lossy compression, we prove that finite degree constructions can achieve any pair $(R, D)$ on the rate-distortion curve of the binary symmetric source. In the context of channel coding, we prove that finite degree codes can achieve any pair $(C, p)$ on the capacity-noise curve of the binary symmetric channel. Next, we show that our compound construction has a nested structure that can be exploited to achieve the Wyner-Ziv bound for source coding with side information (SCSI), as well as the Gelfand-Pinsker bound for channel coding with side information (CCSI). Although the current results are based on optimal encoding and decoding, the proposed graphical codes have sparse structure and high girth that renders them well-suited to message-passing and other efficient decoding procedures.

研究动机与目标

• 设计具有有界度数的稀疏图码，使其在源编码与信道编码中均实现最优性能。
• 填补对稀疏码在有失真压缩与联合源-信道编码中，特别是存在辅助信息情况下的理解空白。
• 将类似LDPC码的适用范围从纯信道编码扩展至有失真源编码与带辅助信息的编码。
• 严格证明有限度构造可达到二元对称模型的信息论界。
• 证明复合码的嵌套结构可实现Wyner-Ziv与Gelfand-Pinsker界。

提出的方法

• 通过将低密度生成矩阵（LDGM）码与低密度奇偶校验（LDPC）码结合，构造复合码。
• 利用密度演化与大偏差分析，刻画码集合的渐近性能。
• 应用共轭对偶与隐函数定理，分析关键点处率函数及其导数。
• 利用码的嵌套结构，支持分布式源编码（Wyner-Ziv）与带辅助信息的信道编码（Gelfand-Pinsker）。
• 利用 $ w = 1/2 $ 处的对称性，简化导数计算，并证明率函数的严格拟凹性。
• 应用Danskin定理与隐函数定理，建立性能函数的可微性与二阶性质。

实验结果

研究问题

• RQ1 有限度稀疏图码能否实现二元对称源的整个率失真函数？
• RQ2 此类码能否同时实现二元对称信道的整个容量-噪声函数？
• RQ3 复合LDGM-LDPC结构能否实现带辅助信息源编码的Wyner-Ziv界？
• RQ4 同一构造能否实现带辅助信息信道编码的Gelfand-Pinsker界？
• RQ5 码集合的性能是否由严格拟凹的率函数表征，从而实现最优权衡？

主要发现

• 存在有限度的LDGM-LDPC码，可在最优编码与译码下实现二元对称源率失真曲线上任意点。
• 存在有限度的LDGM-LDPC码，可在最优编码与译码下实现二元对称信道容量-噪声曲线上任意点。
• 复合码结构具有嵌套性，使其能够实现带辅助信息源编码的Wyner-Ziv界。
• 相同码结构可实现带辅助信息信道编码的Gelfand-Pinsker界。
• 率函数 $ B(w) $ 在 $ w = 1/2 $ 处严格拟凹，且 $ B''(1/2) < 0 $，确认了局部最优性与解的唯一性。
• 率函数的二阶导数被显式计算，显示 $ B''(1/2) = rac{d_v - 1}{4} - 4d_v < 0 $，证实了严格拟凹性与最优点的稳定性。