[论文解读] Deep Learning-Aided Trainable Projected Gradient Decoding for LDPC Codes

Tadashi Wadayama, Satoshi Takabe|arXiv (Cornell University)|Jan 15, 2019

Error Correcting Code Techniques参考文献 8被引用 6

一句话总结

本文提出了一种可训练的投影梯度（TPG）解码算法用于LDPC码，利用深度学习优化内部参数（如步长、软性参数和惩罚系数）。通过将解码过程展开为可微分的多层结构，该方法实现了通过反向传播和随机梯度下降的端到端训练，在短码长LDPC码（n=204）中，误比特率（BER）为10⁻⁵时，相比置信传播（BP）算法，性能提升高达0.5 dB。

ABSTRACT

We present a novel optimization-based decoding algorithm for LDPC codes that is suitable for hardware architectures specialized to feed-forward neural networks. The algorithm is based on the projected gradient descent algorithm with a penalty function for solving a non-convex minimization problem. The proposed algorithm has several internal parameters such as step size parameters, a softness parameter, and the penalty coefficients. We use a standard tool set of deep learning, i.e., back propagation and stochastic gradient descent (SGD) type algorithms, to optimize these parameters. Several numerical experiments show that the proposed algorithm outperforms the belief propagation decoding in some cases.

研究动机与目标

• 开发一种适用于短码长LDPC码的解码算法，使其在低时延机器对机器（M2M）和5G应用中优于置信传播（BP）算法。
• 设计一种与面向前馈神经网络的专用硬件兼容的解码方法，利用矩阵-向量运算中的大规模并行性以及非线性投影特性。
• 利用深度学习技术（如反向传播和随机梯度下降）优化非凸解码参数（步长、软性参数、惩罚系数）。
• 证明通过随机初始化进行多次解码尝试（重启）可显著提升性能，超越标准置信传播算法。

提出的方法

• 该算法将LDPC解码建模为使用罚函数强制满足校验矩阵约束的非凸优化问题。
• 采用两步迭代过程：在目标函数上执行梯度下降，并对二值立方体[0,1]^n执行软投影。
• 将解码过程展开为类似深度神经网络的多层信号流图，实现可微分训练。
• 通过使用标注训练数据的反向传播和随机梯度下降，对内部参数（如步长、软性参数和惩罚系数）进行优化。
• 软投影算子应用类似Sigmoid的函数，将实数值映射到[0,1]区间，其软性由可训练参数控制。
• 通过多次随机初始化的重启策略，探索不同的解轨迹，从而提升纠错性能。

实验结果

研究问题

• RQ1 基于深度学习的优化型解码算法是否能在短码长LDPC码上超越置信传播算法？
• RQ2 能否有效利用反向传播和随机梯度下降对投影梯度解码算法的内部参数进行调优？
• RQ3 结合随机初始化与多次解码尝试（重启）是否能在非凸优化中显著提升解码性能？
• RQ4 该解码算法能否高效映射到面向前馈神经网络优化的硬件上？

主要发现

• 对于(3,6)-正则LDPC码（n=204），当r_max=100时，TPG解码在BER=10⁻⁵时相比置信传播算法实现0.5 dB的SNR增益。
• 当r_max=10时，TPG解码在相同BER水平下相比置信传播算法实现0.2 dB增益，证明了重启策略的有效性。
• 归一化平方误差在5至15次迭代内收敛至约10⁻⁴，表明算法能有效收敛至发送码字。
• 对于n=504的情况，TPG解码在高SNR区域仍优于置信传播算法，验证了其可扩展性。
• 在SNR=3.75 dB时，所有r_max取值下的平均迭代次数约为30次，表明结合早停策略可实现高效收敛。
• 采用Adam优化器（n=204时学习率为0.005，n=504时为0.001）的训练过程成功调优参数，显著提升了解码性能。