[论文解读] DeepTurbo: Deep Turbo Decoder

Yihan Jiang, Hyeji Kim+4 more|arXiv (Cornell University)|Mar 6, 2019

Wireless Signal Modulation Classification参考文献 42被引用 13

一句话总结

DeepTurbo 提出了一种端到端训练的可学习神经译码器，用于 Turbo 码，其性能优于标准 Turbo 和 NeuralBCJR 译码器，且无需事先了解 BCJR 算法。它采用了一种新颖的、非基于 BCJR 的架构，支持译码迭代间共享与非共享参数，从而实现更低的误码地板、在非高斯白噪声（non-AWGN）信道下更强的鲁棒性，并减少译码迭代次数，同时保持高可靠性与自适应能力。

ABSTRACT

Present-day communication systems routinely use codes that approach the channel capacity when coupled with a computationally efficient decoder. However, the decoder is typically designed for the Gaussian noise channel and is known to be sub-optimal for non-Gaussian noise distribution. Deep learning methods offer a new approach for designing decoders that can be trained and tailored for arbitrary channel statistics. We focus on Turbo codes and propose DeepTurbo, a novel deep learning based architecture for Turbo decoding. The standard Turbo decoder (Turbo) iteratively applies the Bahl-Cocke-Jelinek-Raviv (BCJR) algorithm with an interleaver in the middle. A neural architecture for Turbo decoding termed (NeuralBCJR), was proposed recently. There, the key idea is to create a module that imitates the BCJR algorithm using supervised learning, and to use the interleaver architecture along with this module, which is then fine-tuned using end-to-end training. However, knowledge of the BCJR algorithm is required to design such an architecture, which also constrains the resulting learned decoder. Here we remedy this requirement and propose a fully end-to-end trained neural decoder - Deep Turbo Decoder (DeepTurbo). With novel learnable decoder structure and training methodology, DeepTurbo reveals superior performance under both AWGN and non-AWGN settings as compared to the other two decoders - Turbo and NeuralBCJR. Furthermore, among all the three, DeepTurbo exhibits the lowest error floor.

研究动机与目标

• 设计一种不依赖 BCJR 算法数学结构的神经 Turbo 译码器，以实现更高的灵活性与性能。
• 提升译码可靠性、对非高斯噪声的鲁棒性，以及在多种信道条件下的自适应能力。
• 降低标准 Turbo 译码器中常见的误码地板，尤其是在高信噪比（SNR）条件下。
• 通过更少的译码迭代实现更快收敛，同时保持高精度。
• 探索训练好的译码器在不从头开始重新训练的情况下，推广到更长码长的能力。

提出的方法

• 提出一种完全端到端训练的神经架构用于 Turbo 译码，避免了对 BCJR 预训练或架构模仿的需求。
• 采用可学习的译码结构，各译码迭代间使用非共享参数，从而支持阶段特定的译码函数。
• 将后验信息维数 $ K $ 作为超参数，实验发现 $ K=5 $ 在速度与性能之间达到最优。
• 在特定码长（如 $ L=100 $）上使用监督学习方法，以标注的码字为训练数据，端到端训练模型。
• 通过迁移学习方法，先在较短码长上初始化，再在更长码长（如 $ L=1000 $）上微调，以提升泛化能力。
• 采用一种新颖的训练方法，避免依赖 BCJR 的数学结构，从而可适应任意信道统计特性。

实验结果

研究问题

• RQ1 能否在不预先了解 BCJR 算法的前提下，实现端到端训练的神经 Turbo 译码器，同时实现更优性能？
• RQ2 非基于 BCJR 的神经架构是否能相比标准 Turbo 和 NeuralBCJR 译码器，降低误码地板？
• RQ3 像 DeepTurbo 这类端到端训练的译码器，是否能在不从头重新训练的情况下推广到更长的码长？
• RQ4 在非 AWGN 信道（如 t 分布和雷达噪声）下，DeepTurbo 相较于启发式方法和基于 BCJR 的方法表现如何？
• RQ5 DeepTurbo 是否能以更少的译码迭代次数，实现与标准 Turbo 译码器相当或更优的 BER/BLER 性能？

主要发现

• 在 Turbo-757 和 Turbo-LTE 码的高 SNR 区域，DeepTurbo 的性能优于 Turbo 和 NeuralBCJR，表现出更低的误码地板。
• 在 SNR ≥ 0.5 dB 时，DeepTurbo 的误比特率（BER）和误块率（BLER）优于 NeuralBCJR，后者在 AWGN 信道下性能与 Turbo 译码器相当。
• DeepTurbo 的中间层（i=2）已实现优于 2 次迭代 Turbo 译码器的性能，表明其能更快提取信息。
• 当 $ K=5 $（后验维数）时，训练收敛更快，且在 $ K<10 $ 的范围内达到最优性能。
• 在 $ L=100 $ 上训练的 DeepTurbo 在 $ L=1000 $ 上泛化能力差，但经过微调后性能恢复，表明在更长码长上需重新训练。
• 在非 AWGN 信道（ATN 和雷达噪声）下，由于非共享参数支持更好的自适应能力，DeepTurbo 显著优于 NeuralBCJR。