[论文解读] MIST: A Novel Training Strategy for Low-latency Scalable Neural Net Decoders

Kumar Yashashwi, Deepak Anand+3 more|arXiv (Cornell University)|May 22, 2019

Wireless Signal Modulation Classification参考文献 3被引用 6

一句话总结

本论文提出MIST，一种新型训练策略，使卷积神经网络（CNN）解码器能够实现卷积码与LDPC码的最先进误比特率与误块率性能，且解码速度比基于RNN的解码器高出8倍以上。通过仅使用1%码字进行混合信噪比独立采样训练，该方法即使在信道中断情况下也能实现低时延、鲁棒的解码性能，在信道模型不匹配条件下优于最优解码器。

ABSTRACT

In this paper, we propose a low latency, robust and scalable neural net based decoder for convolutional and low-density parity-check (LPDC) coding schemes. The proposed decoders are demonstrated to have bit error rate (BER) and block error rate (BLER) performances at par with the state-of-the-art neural net based decoders while achieving more than 8 times higher decoding speed. The enhanced decoding speed is due to the use of convolutional neural network (CNN) as opposed to recurrent neural network (RNN) used in the best known neural net based decoders. This contradicts existing doctrine that only RNN based decoders can provide a performance close to the optimal ones. The key ingredient to our approach is a novel Mixed-SNR Independent Samples based Training (MIST), which allows for training of CNN with only 1\% of possible datawords, even for block length as high as 1000. The proposed decoder is robust as, once trained, the same decoder can be used for a wide range of SNR values. Finally, in the presence of channel outages, the proposed decoders outperform the best known decoders, {\it viz.} unquantized Viterbi decoder for convolutional code, and belief propagation for LDPC. This gives the CNN decoder a significant advantage in 5G millimeter wave systems, where channel outages are prevalent.

研究动机与目标

• 开发一种低时延、可扩展的神经网络解码器，用于卷积码与LDPC码，其性能可与最先进的基于RNN的解码器相匹配或超越。
• 打破传统认知——即仅RNN能实现神经网络解码中的近似最优性能——通过提出一种新型训练策略，证明CNN也能实现相当的性能。
• 在动态信道条件下（如5G毫米波系统中常见的随机中断）实现鲁棒解码，而传统最优解码器因假设不匹配而失效。
• 大幅降低神经网络解码器的训练数据需求，证明仅使用1%的完整码书即可实现有效训练，即使在码长达1000时亦成立。

提出的方法

• 提出基于混合信噪比独立采样训练（MIST）策略，通过在多个信噪比（SNR）水平下独立采样码字，提升泛化能力并降低数据依赖性。
• 采用一维卷积神经网络（CNN）架构作为解码器，替代循环网络（RNN），以支持并行计算并降低解码时延。
• 使用MIST在极小但多样化的码字子集（低至完整码书的1%）上训练CNN解码器，确保其性能与在90%码字上训练的基于RNN的解码器相当。
• 利用相同的训练好的CNN架构同时处理卷积码与LDPC码，证明其在不同码型间的可迁移性。
• 通过模拟随机信道中断（SNR以概率α降至-10 dB）来评估鲁棒性，以模拟真实5G毫米波环境。
• 在中断条件下，与卷积码的硬判决与未量化维特比解码器，以及LDPC码的比特翻转与置信传播解码器进行性能对比。

实验结果

研究问题

• RQ1 基于CNN的解码器能否在卷积码与LDPC码上实现与最先进的基于RNN的解码器相当的性能，尽管传统观点认为仅RNN能实现近似最优性能？
• RQ2 能否设计一种训练策略，使CNN解码器在极低数据需求下仍能有效训练——具体而言，使用少于1%的完整码书，同时保持高性能？
• RQ3 在信道中断或信道模型不匹配条件下，经MIST训练的CNN解码器是否表现出优于经典最优解码器的鲁棒性？
• RQ4 是否可将同一经MIST训练的神经网络架构有效应用于卷积码与LDPC码，而无需重新训练或修改网络结构？

主要发现

• 经MIST训练的CNN解码器在仅使用1%码字的情况下，其误比特率（BER）与误块率（BLER）性能与最佳已知基于RNN的解码器相当，与通常所需的90%数据量相比，数据需求大幅降低。
• 由于CNN固有的并行性，CNN解码器的解码速度比基于RNN的解码器高出8倍以上，适用于低时延应用场景。
• 在随机信道中断条件下（SNR以概率α降至-10 dB），CNN解码器优于未量化维特比解码器（固定信道下的最优解码器）与LDPC码的置信传播解码器，尤其在高中断概率（α = 0.5）时表现更优。
• 对于LDPC码，CNN解码器优于比特翻转解码器，并在中断条件下与置信传播解码器性能相当或更优，证明其在动态环境中的鲁棒性。
• 同一训练好的CNN架构可成功解码卷积码与LDPC码，证实该方法在不同码型间的可扩展性与泛化能力。
• 结果挑战了长期以来认为仅RNN能实现神经网络解码近似最优性能的假设，证明在实际动态信道条件下，结合MIST的CNN可实现相当或更优的性能。