[论文解读] KO codes: Inventing Nonlinear Encoding and Decoding for Reliable Wireless Communication via Deep-learning

Ashok Vardhan Makkuva, Xiyang Liu+4 more|arXiv (Cornell University)|Aug 29, 2021

Error Correcting Code Techniques被引用 15

一句话总结

该论文提出KO码，一种新型非线性深度学习驱动的编码-解码对，其在加性白高斯噪声（AWGN）信道的短至中等码长范围内，性能优于最先进的线性码（如极化码和Reed-Muller码）。通过用受经典Plotkin树结构启发的可学习非线性神经架构替代经典码中的线性Kronecker运算，KO码在保持低时延、GPU并行解码能力的同时，实现了更优的误比特率（BER）性能。

ABSTRACT

Landmark codes underpin reliable physical layer communication, e.g., Reed-Muller, BCH, Convolution, Turbo, LDPC and Polar codes: each is a linear code and represents a mathematical breakthrough. The impact on humanity is huge: each of these codes has been used in global wireless communication standards (satellite, WiFi, cellular). Reliability of communication over the classical additive white Gaussian noise (AWGN) channel enables benchmarking and ranking of the different codes. In this paper, we construct KO codes, a computationaly efficient family of deep-learning driven (encoder, decoder) pairs that outperform the state-of-the-art reliability performance on the standardized AWGN channel. KO codes beat state-of-the-art Reed-Muller and Polar codes, under the low-complexity successive cancellation decoding, in the challenging short-to-medium block length regime on the AWGN channel. We show that the gains of KO codes are primarily due to the nonlinear mapping of information bits directly to transmit real symbols (bypassing modulation) and yet possess an efficient, high performance decoder. The key technical innovation that renders this possible is design of a novel family of neural architectures inspired by the computation tree of the {\\bf K}ronecker {\\bf O}peration (KO) central to Reed-Muller and Polar codes. These architectures pave way for the discovery of a much richer class of hitherto unexplored nonlinear algebraic structures. The code is available at \\href{https://github.com/deepcomm/KOcodes}{https://github.com/deepcomm/KOcodes}

研究动机与目标

• 开发一种计算高效、非线性的新码族，使其在AWGN信道的短至中等码长范围内，可靠性超越经典线性码。
• 通过引入Kronecker运算的可学习、非线性推广，弥合代数码（如Reed-Muller码、极化码）与随机码之间的差距。
• 通过深度学习实现编码-解码对的端到端训练，克服以往研究仅关注已知线性码解码的局限性。
• 通过基于经典码计算树的神经网络架构，在编码理论中发现新的非线性代数结构。
• 证明从信息比特到实值符号的直接非线性映射（跳过传统调制）可在保持类似解码复杂度的前提下，实现优于线性码的性能。

提出的方法

• 该方法基于Plotkin树骨架构建神经网络架构，Plotkin树是Reed-Muller码与极化码中递归Kronecker积的计算树表示。
• 编码器用由神经网络参数化的可学习非线性变换替代线性生成矩阵，实现从信息比特到传输符号的直接映射。
• 解码器采用具有可学习参数的匹配Plotkin树结构，通过端到端训练最小化AWGN信道样本的误比特率（BER）。
• 该架构每层仅使用两次矩阵乘法和一次激活函数，支持完全GPU并行化，解码时延与Dumer的逐次消除（SC）解码器相当。
• 训练过程使用无限数量的AWGN信道样本，通过反向传播最小化BER，使模型能够发现不受线性代数约束的非线性码结构。
• 引入一种压缩变体TinyKO，参数量减少100倍，性能与完整KO模型几乎完全一致，证明了其可扩展性与高效性。

实验结果

研究问题

• RQ1 能否训练一个基于深度学习的编码-解码对，在AWGN信道的短至中等码长范围内，超越经典线性码（如极化码与Reed-Muller码）？
• RQ2 从信息比特到实值符号的直接非线性映射（跳过传统调制）是否能在类似解码复杂度下，实现优于线性码的可靠性？
• RQ3 能否通过神经网络将经典码的递归Kronecker结构推广，以发现新的高性能非线性码族？
• RQ4 基于Plotkin树骨架构建的神经网络架构，在多大程度上能发现兼具代数码分析鲁棒性与高斯码随机性能特性的码结构？
• RQ5 轻量化压缩神经架构（TinyKO）是否能在保持与大模型几乎相同性能的同时，维持低时延、GPU并行化解码能力？

主要发现

• 在短至中等码长范围内，KO码在所有信噪比（SNR）水平下，经逐次消除解码后，误比特率（BER）显著低于最先进的极化码与Reed-Muller码。
• 在SNR为-5 dB时，KO(8,2)的BER为1.46003e-3，优于基线极化码（BER为2.18083e-3）与Reed-Muller码（BER为1.46003e-3），后者与KO码性能相同。
• TinyKO作为参数量减少100倍的压缩变体，其BER性能与完整KO模型相差可忽略，证明了其高效率与可扩展性。
• KO码的性能优势主要归因于其从信息比特到传输符号的非线性映射，该映射能实现更优的两两距离分布与更高的平均可靠性。
• 解码器的时间复杂度与延迟与Dumer的逐次消除解码器相当，支持在GPU加速系统中实现实时部署。
• 该方法成功发现了一类传统代数码与图基码族之外的新非线性码，为编码理论开辟了全新研究方向。