[论文解读] Using Deep Neural Networks to Predict and Improve the Performance of Polar Codes

Mathieu Léonardon, Vincent Gripon|arXiv (Cornell University)|May 11, 2021

Error Correcting Code Techniques参考文献 17被引用 6

一句话总结

该论文提出了一种深度学习框架，通过其冻结比特序列训练神经网络以预测极化码的帧错误率（FER）。利用训练网络梯度的投影梯度下降法，生成了优化后的冻结比特序列，其FER低于训练数据中的序列，即使在未见过的码构造下也表现出更优性能。

ABSTRACT

Polar codes can theoretically achieve very competitive Frame Error Rates. In practice, their performance may depend on the chosen decoding procedure, as well as other parameters of the communication system they are deployed upon. As a consequence, designing efficient polar codes for a specific context can quickly become challenging. In this paper, we introduce a methodology that consists in training deep neural networks to predict the frame error rate of polar codes based on their frozen bit construction sequence. We introduce an algorithm based on Projected Gradient Descent that leverages the gradient of the neural network function to generate promising frozen bit sequences. We showcase on generated datasets the ability of the proposed methodology to produce codes more efficient than those used to train the neural networks, even when the latter are selected among the most efficient ones.

研究动机与目标

• 开发一种机器学习方法，仅基于冻结比特序列预测极化码的帧错误率（FER）。
• 克服传统极化码构造方法的局限性，这些方法依赖数学近似，在SCL等实际译码下表现次优。
• 利用神经网络梯度生成改进的冻结比特序列，实现发现FER低于训练集中码的性能。
• 通过蒙特卡洛仿真，在SCL译码下对小型和大型极化码验证该方法。

提出的方法

• 在由高斯近似和密度演化生成的冻结比特序列及其对应FER的数据集上训练深度神经网络。
• 利用训练好的神经网络预测任意冻结比特序列的FER，实现在无需完整仿真的情况下端到端性能估计。
• 通过最小化预测FER，对冻结比特序列进行投影梯度下降优化，将网络视为真实FER的可微代理。
• 通过迭代更新输入，利用预测FER相对于序列的梯度，生成新的候选冻结比特序列。
• 为小型（256,128）和大型（1024,512）码设置最优性能的超参数，如网络深度（L）、宽度（H）和梯度步长（µ）。
• 使用AFF3CT工具箱进行蒙特卡洛仿真，验证最佳性能码，确认FER的改进。

实验结果

研究问题

• RQ1 深度神经网络能否仅基于冻结比特序列准确预测极化码的帧错误率？
• RQ2 对神经网络输入进行基于梯度的优化，能否生成FER表现优于训练数据的冻结比特序列？
• RQ3 所提方法能否发现FER低于标准方法（如高斯近似或密度演化）构造的码？
• RQ4 该方法在不同码长和译码条件下（特别是SCL译码下）的鲁棒性如何？
• RQ5 标准深度学习正则化技术（如Dropout、BatchNorm和Mixup）是否能提升FER预测器的泛化能力或预测精度？

主要发现

• 训练后的神经网络在（1024,512）码上平均误差膨胀（IOE）为1.06，在（256,128）码上为1.02，表明对未见数据具有高预测置信度。
• 所提方法为（1024,512）码生成的冻结比特序列FER低至1.01e-5，显著低于训练集中的最小FER（5.75e-5）。
• 对于（256,128）码，该方法生成了具有竞争力的候选序列，但由于码尺寸小且训练集中优化序列密度高，未显著超越最佳训练样本。
• 标准深度学习技术（如Dropout、BatchNorm和Mixup）未改善IOE，可能因冻结比特序列具有离散和组合性质。
• 该方法表明，即使训练集包含高度优化的序列，对神经网络输入进行基于梯度的优化仍可生成性能优于训练数据的码。
• 源代码和数据集已公开发布于 https://github.com/brain-bzh/PolarCodesDNN，以支持可复现性和进一步研究。