[论文解读] All you need is feedback: Communication with block attention feedback codes

Emre Özfatura, Yulin Shao+3 more|arXiv (Cornell University)|Jun 19, 2022

Wireless Signal Modulation Classification被引用 4

一句话总结

本文提出广义块注意力反馈（GBAF）码，一种基于Transformer架构、采用分块处理与注意力机制的深度学习辅助反馈信道编码方案。GBAF在低信噪比（SNR）及噪声反馈环境下，相较以往基于深度神经网络（DNN）的编码方案，实现了数量级降低的块错误率（BLER），其中设计C（ReLU激活）在性能与计算效率之间实现了最优平衡。

ABSTRACT

Deep learning based channel code designs have recently gained interest as an alternative to conventional coding algorithms, particularly for channels for which existing codes do not provide effective solutions. Communication over a feedback channel is one such problem, for which promising results have recently been obtained by employing various deep learning architectures. In this paper, we introduce a novel learning-aided code design for feedback channels, called generalized block attention feedback (GBAF) codes, which i) employs a modular architecture that can be implemented using different neural network architectures; ii) provides order-of-magnitude improvements in the probability of error compared to existing designs; and iii) can transmit at desired code rates.

研究动机与目标

• 解决在传统编码方案失效的高可靠性短包通信问题，特别是在噪声环境与有限块长条件下。
• 通过端到端深度学习方法，克服人工设计反馈码对量化与有限精度的敏感性。
• 设计一种灵活、模块化的反馈编码架构，支持可变编码速率，并通过分块处理降低通信开销。
• 相比现有基于DNN的反馈编码方案，实现更优的块错误率（BLER）性能，尤其在低信噪比（SNR）与噪声反馈条件下。
• 通过平衡性能、计算成本与对反馈信道损伤的鲁棒性，优化神经网络架构以实现实际部署。

提出的方法

• 提出GBAF码作为通用、模块化的反馈编码框架，采用序列到序列编码方式，结合分块消息处理。
• 采用基于Transformer的架构，利用多头自注意力与前馈网络，建模反馈交互中的长程依赖关系。
• 集成信念网络，持续维护并更新接收端对所传消息的后验估计。
• 采用端到端无监督训练，最小化接收端的重构误差，将无线信道视为随机层处理。
• 设计多种特征提取器变体（C与D），以评估性能与计算效率之间的权衡。
• 比较特征提取器中ReLU与GeLU激活函数的影响，评估其在无噪声与有噪声反馈条件下的BLER性能表现。

实验结果

研究问题

• RQ1 在低SNR环境下，基于深度学习的反馈码是否能显著降低BLER，优于现有DNN基与经典反馈码？
• RQ2 神经网络架构的选择——特别是不同特征提取器设计——如何影响反馈码的性能与计算成本？
• RQ3 反馈信道质量（无噪声 vs. 有噪声）对GBAF码性能有何影响？哪种架构在性能退化时最具鲁棒性？
• RQ4 不同激活函数（ReLU与GeLU）如何影响GBAF码的BLER性能，特别是在极低误码率条件下？
• RQ5 与全序列反馈方案相比，所提出的GBAF框架是否可通过分块处理支持灵活编码速率并降低通信开销？

主要发现

• GBAF码在-1 dB前向信道SNR下实现最低达5×10⁻⁹的BLER，显著优于AttentionCode及其他先前DNN基编码方案。
• 在无噪声反馈条件下，采用设计C的GBAF相比AttentionCode在达到10⁻⁸ BLER时获得1.2 dB的SNR增益。
• 在噪声反馈条件（20 dB反馈SNR）下，设计C（ReLU激活）在保持低BLER的同时，计算效率为设计D的两倍，表现更优。
• 在无噪声反馈下，GeLU激活使BLER性能相比ReLU提升5倍（-1 dB SNR），但当反馈SNR下降至20 dB时，ReLU性能更优。
• 当同时使用特征提取器与信念网络时，无噪声反馈下GeLU的BLER低于ReLU，但在噪声反馈下ReLU更具鲁棒性，证实其在真实环境中的实际优势。
• GBAF默认配置采用设计C与ReLU激活，实现了性能、对反馈噪声的鲁棒性及计算效率的最佳平衡。