[论文解读] AI Enlightens Wireless Communication: A Transformer Backbone for CSI Feedback

Xiao Han, Zhiqin Wang+8 more|arXiv (Cornell University)|Jun 16, 2022

Wireless Signal Modulation Classification被引用 8

一句话总结

本文提出EVCsiNet-T，一种基于Transformer的主干网络，用于大规模MIMO系统中深度学习（DL）增强的基于特征向量的信道状态信息（CSI）反馈。通过将CSI特征向量建模为序列并利用自注意力机制，EVCsiNet-T在频谱效率和BLER性能方面优于3GPP标准化的码本方法，在仅使用48–120比特反馈的情况下，性能超越使用128比特反馈的eTypeII，同时保持较低的推理复杂度。

ABSTRACT

This paper is based on the background of the 2nd Wireless Communication Artificial Intelligence (AI) Competition (WAIC) which is hosted by IMT-2020(5G) Promotion Group 5G+AIWork Group, where the framework of the eigenvector-based channel state information (CSI) feedback problem is firstly provided. Then a basic Transformer backbone for CSI feedback referred to EVCsiNet-T is proposed. Moreover, a series of potential enhancements for deep learning based (DL-based) CSI feedback including i) data augmentation, ii) loss function design, iii) training strategy, and iv) model ensemble are introduced. The experimental results involving the comparison between EVCsiNet-T and traditional codebook methods over different channels are further provided, which show the advanced performance and a promising prospect of Transformer on DL-based CSI feedback problem.

研究动机与目标

• 解决传统码本式CSI反馈在大规模MIMO系统中的局限性，如波束成形量化误差，以及随着天线数量增加而带来的反馈开销上升问题。
• 基于第二届无线通信人工智能竞赛（WAIC）数据集和信道模型，提供一种标准化的、系统级的基于深度学习的特征向量CSI反馈框架。
• 通过引入专为CSI特征向量压缩与恢复设计的Transformer架构，建立一个强大且可泛化的基线，以支持未来研究和3GPP标准化工作。
• 探索并验证多种增强策略——数据增强、损失函数设计、训练策略及模型集成——以进一步提升基于深度学习的CSI反馈性能。

提出的方法

• 提出EVCsiNet-T，一种Transformer主干网络，将CSI矩阵的特征向量视为序列，并应用多头自注意力机制以建模子载波与天线之间的长程依赖关系。
• 采用可学习的分词与位置编码方案，将CSI特征向量表示为适合Transformer处理的离散标记。
• 设计可微分的压缩与重建流水线：用户设备（UE）端的编码器将CSI特征向量压缩为低比特反馈信号，基站（BS）端的解码器则重建CSI以用于波束成形。
• 集成多种增强技术：通过信道扰动实现数据增强，采用自适应损失函数（如加权MSE与角度损失），结合混合精度训练，以及模型集成以提升鲁棒性。
• 使用大规模真实3GPP信道模型（如CDL-C300）生成的数据集进行端到端训练，以模拟多样化的传播环境。
• 通过FLOPs与参数量评估推理效率，结果表明在不同反馈比特率（M=32, 48, 120）下，模型复杂度增加微乎其微。

实验结果

研究问题

• RQ1 基于Transformer的架构能否有效建模CSI特征向量的序列性与多维结构，从而实现在大规模MIMO系统中的高效反馈？
• RQ2 在真实的3GPP信道条件下，基于自注意力机制的CSI反馈模型在频谱效率与BLER方面相较于传统码本方法（如eTypeII）表现如何？
• RQ3 数据增强、损失函数设计、训练策略及模型集成在多大程度上能够提升基于深度学习的CSI反馈的鲁棒性与准确性？
• RQ4 所提出的Transformer主干网络的计算复杂度如何？是否满足实际5G/6G系统中实时延迟约束（如<1 ms）？

主要发现

• 在CDL-C300信道下，EVCsiNet-T使用120比特反馈时，在6 dB信噪比下BLER低于10⁻³，显著优于使用128比特反馈的eTypeII（L=4）。
• EVCsiNet-T仅使用48比特反馈即达到与eTypeII使用128比特反馈相当的BLER性能，表明反馈开销降低60%。
• 使用32比特反馈的模型性能略优于使用49比特反馈的eTypeII（L=2），表明在保持相似性能的同时，反馈开销减少35%。
• 不同反馈比特长度（32、48、120）下的推理FLOPs几乎保持恒定，约为8.42×10⁷ FLOPs，可在标准硬件（如V100 GPU）上实现约10.8 μs的实时处理。
• 所有配置下的可训练参数数量稳定在约2110万，表明模型复杂度随反馈率提升而几乎无增加。
• 在第二届WAIC中，顶尖团队成功应用了多种增强策略，尤其是数据增强与模型集成，证实其在提升泛化能力与性能方面的有效性。