[论文解读] Learning to Decode Protograph LDPC Codes

Jincheng Dai, Kailin Tan+5 more|arXiv (Cornell University)|Feb 7, 2021

Error Correcting Code Techniques参考文献 26被引用 5

一句话总结

本文提出了一种用于原型图低密度奇偶校验（LDPC）码的参数共享神经最小-和（MS）译码器，利用码的提升结构，使译码器复杂度在码长变化时保持恒定。通过为每种边类型应用可学习的权重和偏置，并采用逐轮迭代的贪婪训练方法，该译码器在仅略微增加复杂度的情况下，相比传统MS译码实现了高达1 dB的信噪比增益，甚至在某些短码情况下优于和积算法。

ABSTRACT

The recent development of deep learning methods provides a new approach to optimize the belief propagation (BP) decoding of linear codes. However, the limitation of existing works is that the scale of neural networks increases rapidly with the codelength, thus they can only support short to moderate codelengths. From the point view of practicality, we propose a high-performance neural min-sum (MS) decoding method that makes full use of the lifting structure of protograph low-density parity-check (LDPC) codes. By this means, the size of the parameter array of each layer in the neural decoder only equals the number of edge-types for arbitrary codelengths. In particular, for protograph LDPC codes, the proposed neural MS decoder is constructed in a special way such that identical parameters are shared by a bundle of edges derived from the same edge-type. To reduce the complexity and overcome the vanishing gradient problem in training the proposed neural MS decoder, an iteration-by-iteration (i.e., layer-by-layer in neural networks) greedy training method is proposed. With this, the proposed neural MS decoder tends to be optimized with faster convergence, which is aligned with the early termination mechanism widely used in practice. To further enhance the generalization ability of the proposed neural MS decoder, a codelength/rate compatible training method is proposed, which randomly selects samples from a set of codes lifted from the same base code. As a theoretical performance evaluation tool, a trajectory-based extrinsic information transfer (T-EXIT) chart is developed for various decoders. Both T-EXIT and simulation results show that the optimized MS decoding can provide faster convergence and up to 1dB gain compared with the plain MS decoding and its variants with only slightly increased complexity. In addition, it can even outperform the sum-product algorithm for some short codes.

研究动机与目标

• 为解决基于深度学习的LDPC译码器在码长增长时复杂度迅速增加的可扩展性问题。
• 通过引入可学习参数，改进原型图LDPC码的最小-和译码性能，使其更逼近置信传播算法。
• 在保持低训练和译码复杂度的同时，实现对不同码长和码率的泛化能力。
• 通过一种新颖的逐层训练策略，克服长码深度神经译码器训练中的梯度消失问题。
• 通过在来自同一基础图的多样化码集上进行训练，提升模型的泛化能力。

提出的方法

• 通过在最小-和算法的消息更新方程中引入可学习权重和偏置，设计神经最小-和译码器，使其对和积算法的逼近效果更优。
• 参数共享机制确保来自基础图中相同边类型的全部边共享相同的权重和偏置，从而将复杂度与码长解耦。
• 提出一种逐轮迭代的贪婪训练方法，通过分层优化参数，提升收敛性并避免梯度消失问题。
• 采用码长/码率兼容的训练策略，从提升码族中随机采样，以增强在不同码参数下的泛化能力。
• 开发一种基于轨迹的外信息转移图（T-EXIT图），用于分析和验证译码器的收敛性和性能。
• 通过保持与标准NMS和OMS译码相当的复杂度，支持硬件友好实现。

实验结果

研究问题

• RQ1 能否设计一种神经最小-和译码器，在保持恒定复杂度的同时，实现对不同码长的性能提升，优于传统MS译码？
• RQ2 在原型图LDPC码中，如何通过提升边之间的参数共享来减小模型大小和训练复杂度？
• RQ3 逐轮迭代的训练方法是否能有效缓解长LDPC码深度神经译码器中的梯度消失问题？
• RQ4 MS译码器中的可学习参数在多大程度上可补偿Tanner图中的近似误差和短环效应？
• RQ5 对于某些码长，特别是短码，所提出的神经MS译码器是否能优于和积算法？

主要发现

• 所提出的神经MS译码器在各种码长下，相比标准最小-和、归一化最小-和及偏移最小-和译码，实现了高达1 dB的信噪比增益。
• 对于短码，神经MS译码器优于和积算法，表现出更强的抑制译码近似误差的能力。
• 译码器的复杂度与NMS和OMS相当，因此非常适用于硬件部署。
• 逐轮迭代训练方法实现了更快的收敛速度，并避免了梯度消失问题，提升了训练稳定性。
• 参数共享机制确保译码器大小仅与边类型数量相关，而非码长，从而实现了对长码的可扩展性。
• T-EXIT图分析证实了更快的收敛速度和更优的外信息转移性能，验证了译码器在迭代译码行为上的增强效果。