[论文解读] Low-complexity Recurrent Neural Network-based Polar Decoder with Weight Quantization Mechanism

Chieh-Fang Teng, Chen-Hsi Derek Wu+2 more|arXiv (Cornell University)|Oct 29, 2018

Error Correcting Code Techniques参考文献 13被引用 4

一句话总结

本文提出了一种基于循环神经网络（RNN）的低复杂度极化码译码器，采用基于码书的权重重量化机制，以降低极化码译码中的内存和计算开销。通过使用学习得到的码书对网络权重进行量化，该方法在仅造成轻微性能下降的情况下实现了98%的内存减少，从而实现了深度学习译码器在5G NR系统中的高效部署。

ABSTRACT

Polar codes have drawn much attention and been adopted in 5G New Radio (NR) due to their capacity-achieving performance. Recently, as the emerging deep learning (DL) technique has breakthrough achievements in many fields, neural network decoder was proposed to obtain faster convergence and better performance than belief propagation (BP) decoding. However, neural networks are memory-intensive and hinder the deployment of DL in communication systems. In this work, a low-complexity recurrent neural network (RNN) polar decoder with codebook-based weight quantization is proposed. Our test results show that we can effectively reduce the memory overhead by 98% and alleviate computational complexity with slight performance loss.

研究动机与目标

• 为解决深度学习方法在实际通信系统中极化码译码的高内存和计算复杂度问题。
• 通过减小模型大小和复杂度，实现神经网络译码器在5G新空口（NR）中的高效部署。
• 探索在保持译码性能的同时最小化内存开销的权重重量化技术。
• 为极化编码中的循环神经网络译码器开发一种面向特定应用的码书基量化机制。

提出的方法

• 设计了一种循环神经网络（RNN）以解码极化码，利用序列处理提升收敛性能。
• 引入基于码书的权重重量化机制，降低网络权重的精度，从而最小化内存使用。
• 码书在训练过程中学习得到，并用于将全精度权重映射为低比特表示。
• 采用针对块错误率最小化优化的损失函数，对量化后的RNN译码器进行端到端训练。
• 保持RNN的循环结构，以利用译码操作中的时序依赖性。
• 通过在相同译码性能目标下对比全精度模型与量化模型，评估内存和计算复杂度。

实验结果

研究问题

• RQ1 基于低复杂度RNN的译码器是否能在显著减小内存占用的同时，实现接近容量限的极化码译码性能？
• RQ2 基于码书的权重重量化在最小化内存开销方面有多高效，且不会造成显著性能损失？
• RQ3 在量化后的RNN译码器中，译码复杂度、内存使用与块错误率之间的权衡关系如何？
• RQ4 所提出的量化机制是否能有效集成到极化码译码的循环架构中？

主要发现

• 所提出的基于RNN的译码器结合权重重量化，与全精度模型相比，内存开销降低了98%。
• 量化导致的性能损失极小，块错误率仅有轻微下降。
• 该方法保持了快速收敛和具有竞争力的译码性能，接近置信传播算法的性能。
• 基于码书的量化机制使得深度学习译码器能够在资源受限的5G NR系统中实现高效部署。