[论文解读] Boosting Learning for LDPC Codes to Improve the Error-Floor Performance

Hee-Youl Kwak, Dae-Young Yun+3 more|arXiv (Cornell University)|Oct 11, 2023

Error Correcting Code TechniquesComputer Science被引用 3

一句话总结

本文提出了一种新型神经最小和（NMS）译码器训练框架，通过使用提升学习方法，使后置译码器专门针对首个译码器未能纠正的码字进行优化，从而消除了LDPC码的误码平台。通过引入分块重训练调度机制与动态权重共享策略，该方法在无需硬件开销的前提下，实现了在WiMAX、IEEE 802.11n和5G LDPC码上接近无误码平台的性能，误帧率（FER）低至10⁻⁷。

ABSTRACT

Low-density parity-check (LDPC) codes have been successfully commercialized in communication systems due to their strong error correction capabilities and simple decoding process. However, the error-floor phenomenon of LDPC codes, in which the error rate stops decreasing rapidly at a certain level, presents challenges for achieving extremely low error rates and deploying LDPC codes in scenarios demanding ultra-high reliability. In this work, we propose training methods for neural min-sum (NMS) decoders to eliminate the error-floor effect. First, by leveraging the boosting learning technique of ensemble networks, we divide the decoding network into two neural decoders and train the post decoder to be specialized for uncorrected words that the first decoder fails to correct. Secondly, to address the vanishing gradient issue in training, we introduce a block-wise training schedule that locally trains a block of weights while retraining the preceding block. Lastly, we show that assigning different weights to unsatisfied check nodes effectively lowers the error-floor with a minimal number of weights. By applying these training methods to standard LDPC codes, we achieve the best error-floor performance compared to other decoding methods. The proposed NMS decoder, optimized solely through novel training methods without additional modules, can be integrated into existing LDPC decoders without incurring extra hardware costs. The source code is available at https://github.com/ghy1228/LDPC_Error_Floor .

研究动机与目标

• 解决LDPC码中长期存在的误码平台现象，尤其在超可靠6G与xURLLC系统中至关重要。
• 在不增加硬件复杂度的前提下，提升低复杂度神经最小和（NMS）译码器的误码平台性能。
• 克服深度迭代式NMS译码器中梯度消失与局部极小值等训练挑战。
• 在保持高误码平台抑制性能的同时，最小化可训练参数数量。
• 实现所提出的NMS译码器在现有LDPC系统中直接硬件集成，且不增加面积或延迟开销。

提出的方法

• 通过级联两个神经译码器实现提升学习：第一个译码器专注于误比特率下降阶段性能，第二个译码器则仅在第一个译码器未能纠正的码字上进行训练。
• 实施分块训练调度机制，将译码迭代划分为子块，并在每个阶段重新训练先前的块，以避免梯度消失并逃离局部极小值。
• 通过将迭代间权重分组实现动态权重分配，减少参数数量，同时保留纠正与陷阱集相关错误模式所必需的多样性。
• 将未满足的校验节点作为关键训练信号，赋予其更高权重，以增强对误码平台诱导模式的纠正能力。
• 使用在Eb/N0 = 2–4 dB下误比特率为10⁻³的接收码字作为训练样本，采用逐次迭代的训练调度方式训练NMS译码器。
• 通过设计强调纠正未纠正码字的损失函数，使后置译码器能够专门针对误码平台相关模式进行优化。

Figure 2 : Illustration of the proposed weight sharing technique and comparison with other sharing techniques.

实验结果

研究问题

• RQ1 通过使第二级译码器专门针对未纠正码字进行训练，两阶段神经译码器架构是否能有效抑制LDPC码中的误码平台？
• RQ2 分块重训练调度是否能缓解迭代次数超过50次的深度NMS译码器中的梯度消失问题？
• RQ3 采用极少数独立权重的动态权重共享机制，是否仍能维持高误码平台抑制性能？
• RQ4 与现有后处理方法及多损失训练方案相比，所提出的训练方法在性能与复杂度方面表现如何？
• RQ5 所提出的NMS译码器在无需硬件修改的前提下，能否在多种标准LDPC码（如WiMAX、5G、IEEE 802.11n）上实现接近无误码平台的性能？

主要发现

• 所提出的NMS译码器在WiMAX、IEEE 802.11n和5G LDPC码上均实现了10⁻⁷的帧错误率（FER），且无明显误码平台，优于传统NMS译码器与后处理方案。
• 通过在未纠正码字上训练后置译码器，成功消除了误码平台，与基线NMS译码器相比，误码平台区域的FER降低了多个数量级。
• 分块重训练调度成功训练了50次迭代的NMS译码器，有效避免了梯度消失问题，且性能优于多损失训练与标准逐次迭代训练方法。
• 所提方法仅使用3×ℓ组权重（ℓ=50时为130组），与全权重多样性方案（如ABC 2018中的676,800次操作）相比，显著降低了内存开销，同时保持了更优的性能。
• 尽管单次迭代的复杂度高于最小和（MS）译码器，但由于总迭代次数更少且权重共享高效，整体复杂度仍低于最先进的后处理方案（后者使用150次迭代）。
• 该方法具备硬件兼容性，经表2中的复杂度分析验证，可直接集成至现有LDPC译码器架构中，无需增加面积或延迟开销。