[论文解读] Cyclically Equivariant Neural Decoders for Cyclic Codes

Xiangyu Chen, Min Ye|arXiv (Cornell University)|May 12, 2021

Coding theory and cryptography被引用 8

一句话总结

本文提出了一种用于循环码的循环等变神经解码器，利用BCH码和打孔Reed-Muller码的移位不变结构，在神经网络权重中强制实现等变性。该方法在先前的神经解码器基础上实现了最高0.7 dB的增益，并实现了列表解码方法，将误码率降低最多3 dB，对于高码率码接近最大似然性能。

ABSTRACT

Neural decoders were introduced as a generalization of the classic Belief Propagation (BP) decoding algorithms, where the Trellis graph in the BP algorithm is viewed as a neural network, and the weights in the Trellis graph are optimized by training the neural network. In this work, we propose a novel neural decoder for cyclic codes by exploiting their cyclically invariant property. More precisely, we impose a shift invariant structure on the weights of our neural decoder so that any cyclic shift of inputs results in the same cyclic shift of outputs. Extensive simulations with BCH codes and punctured Reed-Muller (RM) codes show that our new decoder consistently outperforms previous neural decoders when decoding cyclic codes. Finally, we propose a list decoding procedure that can significantly reduce the decoding error probability for BCH codes and punctured RM codes. For certain high-rate codes, the gap between our list decoder and the Maximum Likelihood decoder is less than $0.1$dB. Code available at https://github.com/cyclicallyneuraldecoder/CyclicallyEquivariantNeuralDecoders

研究动机与目标

• 设计一种利用循环码循环不变性的神经解码器，以提升解码性能。
• 在保持或提升纠错性能的同时，减少训练时间和内存占用，相较于现有神经解码器。
• 开发一种基于扩展码自同构群的列表解码方法，以进一步降低解码误码概率。
• 证明所提出的解码器在误比特率和解码延迟方面均优于当前最先进的神经解码器。

提出的方法

• 在神经解码器中施加移位不变的权重结构，使得输入的循环移位能产生对应输出的循环移位，模拟最大似然解码器的等变性。
• 使用码的校验矩阵的Trellis图表示作为神经网络，通过层间权重共享以强制实现循环不变性。
• 通过在接收码字后附加一个虚拟校验位，并应用扩展码自同构群的置换，实现列表解码过程。
• 通过在不同置换下运行神经解码器生成多个中间解码结果，并从中选择最大似然准则下的最优候选。
• 采用大小为 $ n \times n $ 的循环校验矩阵，而非先前工作中使用的 $ (n-k) \times n $ 矩阵，以支持循环结构。
• 使用反向传播训练神经网络，以优化权重，同时保持移位不变约束。

实验结果

研究问题

• RQ1 能否设计一种尊重循环码循环对称性的神经解码器，从而提升解码性能？
• RQ2 在神经解码器权重结构中强制实现循环等变性，与非等变设计相比，对纠错性能有何影响？
• RQ3 基于扩展码自同构群的列表解码方法能否显著降低解码误码概率？
• RQ4 在神经解码器中应用循环等变性时，训练时间、内存占用与性能之间的权衡如何？

主要发现

• 所提出的神经解码器在各种BCH码和打孔RM码上，相对于Nachmani等人（2018）的神经解码器，始终实现0.7 dB的误比特率（BER）增益。
• 与Nachmani & Wolf（2019）的超图网络解码器相比，性能提升0.3 dB，同时训练时间减少300倍——例如，BCH(63,45)码的训练时间从超过2天缩短至10分钟。
• 采用列表大小 $ n+1 $ 的列表解码方法，可将误码概率降低最多3 dB，并在某些高码率码上实现与最大似然解码器仅相差0.1 dB的性能。
• 即使列表大小仅为 $ \ell = 8 $，该列表解码器相比无列表解码的标准解码器，仍可实现0.7–0.9 dB的增益。
• 消融实验表明，$ n \times n $ 校验矩阵的循环结构至关重要，若替换为随机 $ n \times n $ 矩阵则无法获得性能增益。
• 由于层间权重共享，可训练参数数量减少，从而相比非等变设计显著降低内存占用，尤其在高码率码中更为明显。