[论文解读] Hyper-Graph-Network Decoders for Block Codes

Eliya Nachmani, Lior Wolf|arXiv (Cornell University)|Sep 5, 2019

Error Correcting Code Techniques被引用 23

一句话总结

本论文为代数编码提出Hyper-Graph-Network译码器，利用超网络根据输入消息的置信度（绝对值）动态生成消息传递网络权重，并采用arctanh函数的高阶泰勒近似以防止梯度爆炸。该方法在BCH、LDPC和Polar等多种编码中均优于置信传播和先前的基于学习的方法。

ABSTRACT

Neural decoders were shown to outperform classical message passing techniques for short BCH codes. In this work, we extend these results to much larger families of algebraic block codes, by performing message passing with graph neural networks. The parameters of the sub-network at each variable-node in the Tanner graph are obtained from a hypernetwork that receives the absolute values of the current message as input. To add stability, we employ a simplified version of the arctanh activation that is based on a high order Taylor approximation of this activation function. Our results show that for a large number of algebraic block codes, from diverse families of codes (BCH, LDPC, Polar), the decoding obtained with our method outperforms the vanilla belief propagation method as well as other learning techniques from the literature.

研究动机与目标

• 解决在高维、结构化消息空间下，为大规模代数块码族训练自适应神经译码器的挑战。
• 克服因使用arctanh激活函数导致的梯度爆炸问题，从而在基于超网络的译码器中实现训练稳定性。
• 通过利用码空间中的对称性，实现高效学习，使模型仅需在单个噪声码字（如全零码字）上进行训练，而非整个指数级输入空间。
• 设计一种可扩展且稳定的架构，可在不进行特定于架构调优的情况下，泛化至多个码族（BCH、LDPC、Polar）。
• 在有限迭代和收敛译码场景下，均优于经典置信传播和现有基于学习的译码器。

提出的方法

• 采用超网络 $ f $，在Tanner图的每个变量节点处预测消息处理网络 $ g $ 的权重 $ \theta_g $，实现对输入的自适应计算。
• 将输入消息的绝对值输入至超网络 $ f $，使其聚焦于消息置信度而非内容，从而提升泛化能力与训练稳定性。
• 将校验节点中标准的 $ \text{arctanh} $ 激活函数替换为高阶泰勒近似，避免渐近发散，防止训练过程中的梯度爆炸。
• 利用码空间中的对称性，仅在单个零码字的噪声版本上进行模型训练，极大降低数据需求，同时保持泛化能力。
• 采用由泰勒展开导出的简化且稳定的激活函数，确保在超网络设置下的反向传播中具有数值稳定性。
• 设计超网络以保持对码对称性的不变性，确保所学译码器尊重码族的代数结构。

实验结果

研究问题

• RQ1 基于超网络的架构能否在块码译码中动态调整消息传递权重，从而实现超越固定权重RNN和置信传播的性能？
• RQ2 当使用对大输入敏感的非线性激活函数（如 $ \text{arctanh} $）时，如何缓解基于超网络的译码器中的梯度爆炸问题？
• RQ3 在码空间中，对称性在多大程度上可被利用以降低神经译码器训练的数据与计算成本？
• RQ4 将标准 $ \text{arctanh} $ 激活函数替换为高阶泰勒近似，是否能显著提升训练稳定性和最终性能？
• RQ5 单一统一架构能否在多种块码族（BCH、LDPC、Polar）上实现泛化，并在一致性能增益上超越经典方法和基于学习的基线？

主要发现

• 完整方法（i）在BER性能上显著优于[18]，在SNR=6时，BCH(63,51)的SNR增益高达0.89 dB。
• 消融实验表明，移除超网络（ii）或使用原始消息而非其绝对值（iv）均导致性能低于[18]，表明两个组件均不可或缺。
• 使用原始 $ \text{arctanh} $ 函数（v）或梯度裁剪（vi）均导致训练崩溃和随机性能（BER ≈ 0.69），证明泰勒近似对稳定性至关重要。
• 即使[18]使用相同的截断 $ \text{arctanh} $，本方法仍表现更优：在SNR=6时，BCH(63,51)增益0.44 dB，LDPC(121,80)增益0.50 dB。
• 该方法在码族间具有良好的泛化能力：在BCH(31,16)、BCH(63,45)、LDPC(49,24)、LDPC(121,80)、Polar(64,32)和Polar(128,96)上均达到最先进性能，且性能增益一致。
• 超网络输入中使用绝对值至关重要——若无此设计，性能显著下降，表明模型必须学习置信度感知的处理机制，而非内容特定的变换。