[论文解读] Low density majority codes and the problem of graceful degradation

Hajir Roozbehani, Yury Polyanskiy|arXiv (Cornell University)|Nov 26, 2019

Error Correcting Code Techniques参考文献 57被引用 5

一句话总结

本文提出低密度多数码（LDMCs），一种非线性稀疏图码族，通过在数据比特的小子集上使用多数函数，在二元擦除信道（BEC）上实现误比特率（BER）性能的平滑、渐进式退化。与线性LDGM码不同，LDMCs利用非线性特性来启动置信传播（BP）译码，即使在少量BP迭代下也显著优于线性系统码，并建立了新型两点相对界，收紧了系统码的性能极限。

ABSTRACT

We study a problem of constructing codes that transform a channel with high bit error rate (BER) into one with low BER (at the expense of rate). Our focus is on obtaining codes with smooth ("graceful'') input-output BER curves (as opposed to threshold-like curves typical for long error-correcting codes). This paper restricts attention to binary erasure channels (BEC) and contains three contributions. First, we introduce the notion of Low Density Majority Codes (LDMCs). These codes are non-linear sparse-graph codes, which output majority function evaluated on randomly chosen small subsets of the data bits. This is similar to Low Density Generator Matrix codes (LDGMs), except that the XOR function is replaced with the majority. We show that even with a few iterations of belief propagation (BP) the attained input-output curves provably improve upon performance of any linear systematic code. The effect of non-linearity bootstraping the initial iterations of BP, suggests that LDMCs should improve performance in various applications, where LDGMs have been used traditionally. Second, we establish several extit{two-point converse bounds} that lower bound the BER achievable at one erasure probability as a function of BER achieved at another one. The novel nature of our bounds is that they are specific to subclasses of codes (linear systematic and non-linear systematic) and outperform similar bounds implied by the area theorem for the EXIT function.

研究动机与目标

• 为解决信道编码中缺乏广泛接受的渐进式退化解决方案的问题，即误码率随信道噪声增加而平滑退化而非突然恶化。
• 设计内码，将高BER信道转换为低BER信道，且具有平滑、单调的BER曲线，适用于硬件优化的外码。
• 通过引入非线性替代方案，克服线性系统码在实现平滑性能退化方面的局限性。
• 为系统码建立更紧致的相对界，尤其区分线性与非线性子类。
• 提供一个严谨的框架，用于分析基于扩展信息论工具的BP译码稀疏图码在二元输入对称信道上的性能。

提出的方法

• 提出低密度多数码（LDMCs），其中每个输出比特是随机选择的输入比特小子集的多数函数，取代LDGM码中使用的异或（XOR）运算。
• 在LDMCs上使用置信传播（BP）译码，表明非线性特性可增强初始译码迭代，从而实现更快收敛与更优BER性能。
• 提出一种基于E-函数与卡方信息的新型信道比较方法，以在任意二元输入对称信道上严格界定BP译码性能。
• 将Mrs. Gerber引理由卡方信息扩展，用于刻画在较不 noisy 顺序下的极值性，从而实现更紧致的性能界。
• 推导出针对线性系统码与非线性系统码的特定两点相对界，其紧致性优于由EXIT函数面积定理所隐含的界。
• 采用擦除多项式对LDMC(d)进行性能界计算与优化，对d ≤ 10提供显式表达式。

实验结果

研究问题

• RQ1 非线性稀疏图码是否能在二元擦除信道上实现比线性LDGM码更平滑、更渐进的BER性能退化？
• RQ2 LDMCs中多数函数的非线性特性如何改善置信传播相比线性码的初始收敛性能？
• RQ3 通过区分线性与非线性子类，能否为系统码推导出更紧致的两点相对界？
• RQ4 基于E-函数与卡方信息的信道比较方法在多大程度上能改进BP译码稀疏图码的分析？
• RQ5 随着子集大小d增加，系统LDMC(d)的渐近性能极限是什么？

主要发现

• 仅需少数置信传播迭代，LDMCs的BER性能即可严格超越任何线性系统码，证明了非线性在早期译码阶段的优势。
• 为系统LDMCs推导出的两点相对界比EXIT函数面积定理所隐含的界更紧，尤其在非线性码中表现显著。
• 对于LDMC(3)，在擦除概率为0.5时，BER下界约为0.15625，且该值随d增加而减小，当d → ∞时趋近于0.07056。
• 对于d=3与d=5的系统LDMC(d)，其性能上界得到了比以往更紧致的估计，显著优于LDGMs。
• LDMC(3)的E-函数被显式计算为关于q的多项式，从而可在一系列擦除概率下实现精确的性能评估与优化。
• 当d→∞时，系统LDMC(d)的渐近BER极限上界为0.07056，表明该码类存在一个根本的性能下限。