[论文解读] Learned Decimation for Neural Belief Propagation Decoders

Andreas Buchberger, Christian Häger+3 more|arXiv (Cornell University)|Nov 4, 2020

Error Correcting Code Techniques参考文献 18被引用 4

一句话总结

该论文提出神经信念传播与消去（NBPD），一种用于短码长LDPC码的两阶段解码框架，通过结合基于列表的消去与学习型消去来提升NBP性能。通过迭代地使用神经网络根据可靠性判断应固定哪些变量节点，NBPD在(128,64) LDPC码上相较标准NBP实现0.75 dB增益，并在块错误率为$10^{-4}$时与最大似然解码的差距在1 dB以内。

ABSTRACT

We introduce a two-stage decimation process to improve the performance of neural belief propagation (NBP), recently introduced by Nachmani et al., for short low-density parity-check (LDPC) codes. In the first stage, we build a list by iterating between a conventional NBP decoder and guessing the least reliable bit. The second stage iterates between a conventional NBP decoder and learned decimation, where we use a neural network to decide the decimation value for each bit. For a (128,64) LDPC code, the proposed NBP with decimation outperforms NBP decoding by 0.75 dB and performs within 1 dB from maximum-likelihood decoding at a block error rate of $10^{-4}$.

研究动机与目标

• 通过解决由吸收集引起的残余误码地板问题，提升短码长LDPC码的神经信念传播（NBP）解码性能。
• 通过结合基于列表的消去与学习型消去的混合消去策略，缩小NBP与最大似然（ML）解码之间的差距。
• 开发一种可学习的消去机制，利用神经网络选择可靠的变量节点进行硬判决，从而提升收敛性与纠错能力。
• 证明所提出的NBPD解码器在计算复杂度适度增加的前提下，可实现接近ML的性能。

提出的方法

• 该方法采用两阶段消去过程：首先，基于列表的阶段对最不可靠的变量节点进行$+\infty$和$-\infty$的消去，生成候选码字列表。
• 其次，学习型消去阶段使用前馈神经网络，根据其对数似然比（LLRs）预测最不可靠变量节点的最优符号，实现消去决策。
• 神经网络通过反向传播与直通估计器（STE）进行训练，以处理离散的消去决策，采用两层隐藏层的ReLU激活函数，并使用线性输出层。
• 每次消去步骤后，运行$\ell_{\mathsf{max}}$次迭代的传统NBP解码器，形成解码与消去之间的迭代循环。
• 解码器在CCSDS标准中的(128,64) LDPC码上进行评估，训练使用Adam优化器，批量大小为128，学习率为0.001。
• 复杂度通过总操作数与内存占用衡量，NBPD解码器的复杂度随消去步数$n_{\mathsf{D}}$呈指数增长。

实验结果

研究问题

• RQ1 学习型消去是否能显著缩小神经信念传播与最大似然解码在短码长LDPC码上的性能差距？
• RQ2 与标准NBP或BP相比，结合基于列表与学习型消去的策略在收敛性与纠错能力方面有何提升？
• RQ3 随着学习型消去步数的增加，性能增益与计算复杂度之间的权衡如何？
• RQ4 神经网络能否在不依赖正确码字先验知识的前提下，有效学习基于LLR可靠性选择最优变量节点进行消去？

主要发现

• 对于(128,64) LDPC码，NBPD在4个学习型消去步数下，可在块错误率为$10^{-4}$时将与最大似然解码的差距缩小至1 dB以内。
• 所提出的NBPD解码器相较标准NBP解码（50次迭代）实现0.75 dB增益，显著提升性能。
• 增加一个学习型消去步数（NBPD(10,4,1)）可使性能较NBP(50)提升0.3 dB，而四个步数可带来额外0.4 dB增益。
• NBPD的复杂度随消去步数呈指数增长，NBPD(10,4,4)在操作数上比NBP(50)高出18.2倍。
• 仅使用基于列表的消去阶段（NBPD(10,4,0)）使复杂度提升5.4倍，但仅带来0.4 dB增益，表明学习型消去对性能提升至关重要。
• NBP与BP在50次迭代后性能趋于收敛，表明进一步增加迭代次数无法改善误码率，凸显了采用消去等替代策略以缩小与ML性能差距的必要性。