[论文解读] Capacity-Achieving Codes with Bounded Graphical Complexity on Noisy Channels

Chun-Hao Hsu, Achilleas Anastasopoulos|arXiv (Cornell University)|Sep 19, 2005

Error Correcting Code Techniques被引用 14

一句话总结

该论文提出LDPC-GM码——一种外层为LDPC码、内层为速率1的LDGM码的级联码——在最大似然译码下，以有界的图复杂度，实现了在任意无记忆二进制输入对称输出（MBIOS）信道上的容量。内层LDGM码抑制了LDPC码中的高权重码字，同时保留了极少的低权重码字，使得码集合渐近地满足Gilbert-Varshamov界，并在二进制删除信道（BEC）上以每比特恒定的译码复杂度实现容量。

ABSTRACT

We introduce a new family of concatenated codes with an outer low-density parity-check (LDPC) code and an inner low-density generator matrix (LDGM) code, and prove that these codes can achieve capacity under any memoryless binary-input output-symmetric (MBIOS) channel using maximum-likelihood (ML) decoding with bounded graphical complexity, i.e., the number of edges per information bit in their graphical representation is bounded. In particular, we also show that these codes can achieve capacity on the binary erasure channel (BEC) under belief propagation (BP) decoding with bounded decoding complexity per information bit per iteration for all erasure probabilities in (0, 1). By deriving and analyzing the average weight distribution (AWD) and the corresponding asymptotic growth rate of these codes with a rate-1 inner LDGM code, we also show that these codes achieve the Gilbert-Varshamov bound with asymptotically high probability. This result can be attributed to the presence of the inner rate-1 LDGM code, which is demonstrated to help eliminate high weight codewords in the LDPC code while maintaining a vanishingly small amount of low weight codewords.

研究动机与目标

• 设计在无记忆二进制输入对称输出（MBIOS）信道上具有有界图复杂度的容量可达码。
• 解决一个开放问题：在二进制删除信道（BEC）之外的一般MBIOS信道上，有界图复杂度是否能实现容量。
• 分析级联LDPC-GM码的平均权重分布（AWD），并证明其渐近增长速率趋近于Gilbert-Varshamov界。
• 证明这些码在二进制删除信道（BEC）上，使用置信传播（BP）译码时，每信息比特具有有界的译码复杂度，可实现容量。
• 在不依赖密度演化方法的前提下，提供容量可达迭代译码的必要条件，因为密度演化方法在一般MBIOS信道上不可行。

提出的方法

• 使用外层LDPC码和内层速率1的LDGM码构造一族级联LDPC-GM码。
• 推导LDPC-GM集合的平均权重分布（AWD），并利用生成函数和矩母函数技术分析其渐近增长速率。
• 利用文献[10]中的ML性能界，证明在正区域中，AWD的增长速率被随机集合所上界，负区域中码字可忽略不计。
• 应用密度演化分析，表明在BEC上可实现成功的置信传播译码，且每比特译码复杂度有界。
• 为LDPC码和LDGM码引入非规则度分布，以在有界复杂度下实现与容量任意接近的码率。
• 证明该码集合的码率满足 R > (1−ε)(1−q)，对任意 ε > 0 和擦除概率 q ∈ (0,1)，从而确保容量可达性能。

实验结果

研究问题

• RQ1 在最大似然译码下，是否能使用具有有界图复杂度的码在一般MBIOS信道上实现容量？
• RQ2 在级联LDPC结构中引入速率1的LDGM码，是否能有效抑制高权重码字，同时保持可忽略的低权重码字数量？
• RQ3 LDPC-GM码在二进制删除信道（BEC）上，使用置信传播译码时，是否能以每信息比特有界的译码复杂度实现容量？
• RQ4 LDPC-GM码集合的平均权重分布是否渐近地被Gilbert-Varshamov界所上界？
• RQ5 是否可将ML性能界用作容量可达迭代译码的必要条件，而无需依赖密度演化方法？

主要发现

• LDPC-GM码集合在任意MBIOS信道上，使用最大似然译码且具有有界图复杂度时，实现了容量，即每信息比特的边数为常数。
• 内层速率1的LDGM码有效消除了LDPC码中的高权重码字，同时保持了可忽略不计的低权重码字数量，使得AWD在正区域的渐近增长速率被随机集合所上界。
• LDPC-GM码集合的AWD在负区域中至多以多项式衰减的码字数量，确保码集合以渐近高概率满足Gilbert-Varshamov界。
• 在BEC上，LDPC-GM码在置信传播译码下，对所有(0,1)区间内的擦除概率，均以每信息比特有界的译码复杂度实现容量。
• 对任意 ε > 0，码集合的码率满足 R > (1−ε)(1−q)，证明了在有界复杂度下可任意接近容量。
• 使用ML性能界可提供容量可达迭代译码的必要条件，而无需依赖密度演化方法，后者在一般MBIOS信道上不可行。