[论文解读] Communication Algorithms via Deep Learning

Hyeji Kim, Yihan Jiang+4 more|arXiv (Cornell University)|Feb 1, 2018

Error Correcting Code Techniques参考文献 22被引用 48

一句话总结

本文提出一种基于深度学习的方法，利用循环神经网络（RNN）自动发现卷积码和Turbo码等序列码的近似最优译码算法。通过在加性白高斯噪声（AWGN）信道上训练RNN译码器，该方法实现了接近最优的比特错误率和块错误率，可在不同信噪比（SNR）和码长之间泛化，并在非高斯和脉冲噪声环境下表现出鲁棒性，优于传统译码器在严苛条件下的性能。

ABSTRACT

Coding theory is a central discipline underpinning wireline and wireless modems that are the workhorses of the information age. Progress in coding theory is largely driven by individual human ingenuity with sporadic breakthroughs over the past century. In this paper we study whether it is possible to automate the discovery of decoding algorithms via deep learning. We study a family of sequential codes parameterized by recurrent neural network (RNN) architectures. We show that creatively designed and trained RNN architectures can decode well known sequential codes such as the convolutional and turbo codes with close to optimal performance on the additive white Gaussian noise (AWGN) channel, which itself is achieved by breakthrough algorithms of our times (Viterbi and BCJR decoders, representing dynamic programing and forward-backward algorithms). We show strong generalizations, i.e., we train at a specific signal to noise ratio and block length but test at a wide range of these quantities, as well as robustness and adaptivity to deviations from the AWGN setting.

研究动机与目标

• 探究深度学习是否能够自动化发现经典序列码的高效译码算法。
• 评估基于RNN的神经译码器在不同信噪比（SNR）和码长之间的泛化能力。
• 评估在偏离AWGN模型（如脉冲性或重尾噪声）条件下的学习译码器的鲁棒性。
• 在标准和非标准信道条件下，将神经译码器性能与最先进的传统译码器（如Viterbi、BCJR、Turbo）进行比较。
• 探究神经网络是否可通过端到端训练隐式学习到复杂译码算法（如Viterbi和BCJR），而无需架构先验知识。

提出的方法

• 作者使用RNN架构建模序列译码，通过递归结构参数化码，其天然支持可变长度输入和多样化的编码速率。
• 在特定SNR和码长下，基于已知卷积码和Turbo码在AWGN信道上生成的合成数据，对RNN译码器进行端到端训练。
• 通过在广泛范围的SNR和码长（最高达10,000比特）上测试泛化性能，使用比特错误率（BER）和块错误率（BLER）进行评估。
• 在非AWGN条件下评估鲁棒性，包括t分布噪声和脉冲噪声模型，其中噪声方差会临时增加。
• 在脉冲噪声模型上对神经译码器进行微调，以适应共信道雷达或OFDM系统间干扰等干扰场景。
• 通过位置似然比分析探索可解释性，将神经译码器的置信度估计与BCJR算法的估计进行比较。

实验结果

研究问题

• RQ1 在无架构先验的前提下，基于RNN的神经译码器是否能在标准AWGN信道上实现接近最优的性能，适用于卷积码和Turbo码？
• RQ2 在单一配置下训练后，单一RNN译码器在不同SNR和码长之间的泛化能力有多强？
• RQ3 在非高斯和脉冲噪声模型下，学习到的神经译码器性能与传统译码器相比如何？
• RQ4 神经译码器是否能在不重新训练的情况下适应信道变化，特别是在噪声模型偏离训练假设时？
• RQ5 神经译码器内部的置信度估计（通过LLR输出）是否比Viterbi和BCJR等经典算法表现出更稳健的错误传播行为？

主要发现

• RNN译码器在AWGN信道上的比特错误率（BER）和块错误率（BLER）性能与最优Viterbi和BCJR译码器相差不超过0.1 dB。
• 该模型在SNR和码长之间具有良好的泛化能力，即使在训练时使用100比特序列，也能在10,000比特码长下保持接近最优的性能。
• 在t分布噪声（ν=3）下，神经译码器优于标准Turbo译码器，主要得益于更保守且稳定的似然估计，从而减少了错误传播。
• 在脉冲噪声场景中，经微调的神经译码器（bursty-neural-decoder）在σ²_b = 3.5时优于标准Turbo译码器及其启发式方法（擦除法和饱和阈值法）。
• 与BCJR相比，神经译码器在似然比上的置信度估计更保守，从而降低了错误级联效应，提升了在噪声模型偏移下的鲁棒性。
• 位置分析显示，尽管神经译码器和BCJR译码器在脉冲噪声下错误都集中在第50位附近，但神经译码器的置信度幅度更低，有效防止了错误的广泛传播。