[论文解读] Learning Representations for CSI Adaptive Quantization and Feedback

Valentina Rizzello, Matteo Nerini+3 more|arXiv (Cornell University)|Jul 13, 2022

Wireless Signal Modulation Classification被引用 4

一句话总结

本文提出两种基于深度学习的FDD大规模MIMO系统中CSI自适应量化与反馈方法：一种利用嵌套dropout实现基于潜在单元重要性的比特分配，另一种采用带有学习码本的向量量化变分自编码器（VQ-VAE）。两种方法在低反馈速率下显著提升了重建精度，同时通过剪枝和二值权重降低了编码器复杂度和参数卸载量。

ABSTRACT

In this work, we propose an efficient method for channel state information (CSI) adaptive quantization and feedback in frequency division duplexing (FDD) systems. Existing works mainly focus on the implementation of autoencoder (AE) neural networks (NNs) for CSI compression, and consider straightforward quantization methods, e.g., uniform quantization, which are generally not optimal. With this strategy, it is hard to achieve a low reconstruction error, especially, when the available number of bits reserved for the latent space quantization is small. To address this issue, we recommend two different methods: one based on a post training quantization and the second one in which the codebook is found during the training of the AE. Both strategies achieve better reconstruction accuracy compared to standard quantization techniques.

研究动机与目标

• 解决FDD大规模MIMO系统中CSI反馈的常规均匀量化方法性能不佳的问题。
• 在反馈比特受限的情况下，提升压缩CSI的重建精度。
• 减少编码器网络的参数数量与计算复杂度，以实现向移动终端的高效参数卸载。
• 通过训练过程中学习潜在空间单元的相对重要性，实现对潜在空间单元的自适应比特分配。

提出的方法

• 将嵌套dropout（ND）层作为编码器的最后一层，通过隐式排序潜在单元的重要性，实现在量化过程中自适应比特分配。
• 使用几何分布采样dropout起始索引，确保潜在单元之间的分层依赖关系。
• 引入基于VQ-VAE的方法，其中码本在训练过程中学习得到，从而实现对潜在表示更高效、更精确的向量量化。
• 通过网络剪枝（减少40%）和二值全连接（FC）层（减少75%）降低编码器参数卸载量，并通过微调恢复性能。
• 利用上行链路CSI的泛化能力，在基站端集中训练自编码器，避免在移动终端进行设备端训练。
• 在二值权重层中使用带有缩放的直通估计器，以在反向传播中保持梯度流动。

实验结果

研究问题

• RQ1 嵌套dropout是否能通过利用学习到的重要性排序，实现对自编码器潜在空间更高效、更精确的量化？
• RQ2 在低比特反馈场景下，使用学习码本训练VQ-VAE是否能相比标准量化方法提升CSI重建精度？
• RQ3 像剪枝和二值权重这样的模型压缩技术，在不降低重建性能的前提下，能在多大程度上减少编码器参数卸载？
• RQ4 在相同的反馈约束条件下，所提方法与SOTA CSI压缩网络（如CsiNet和ACRNet）相比性能如何？

主要发现

• 基于嵌套dropout的方法在512反馈比特下达到-12.48 dB的归一化均方误差（NMSE），优于标准量化、CsiNet（-7.71 dB）和ACRNet（-10.05 dB）。
• 基于VQ-VAE的方法使用学习码本在512比特下达到-15.22 dB的余弦相似度，显著优于CsiNet（-10.92 dB）和ACRNet（-13.73 dB）。
• 结合剪枝与微调的网络剪枝使编码器参数卸载量减少40%，同时NMSE与全模型保持在0.1 dB以内。
• 二值全连接层使参数卸载量减少约75%，但与全精度模型相比，NMSE性能下降约1.5 dB。
• 采用g=2（分组卷积）的ND方法在512比特下达到-12.45 dB的NMSE，表明对网络架构修改具有鲁棒性。
• 总体而言，所提方法在所有反馈比特水平下均优于CsiNet和ACRNet，证明了在低比特约束下具有更优的重建精度。