[论文解读] Large Wireless Model (LWM): A Foundation Model for Wireless Channels

Sadjad Alikhani, Gouranga Charan+1 more|arXiv (Cornell University)|Nov 13, 2024

Advanced MIMO Systems Optimization被引用 4

一句话总结

本文提出了大型无线模型（LWM），这是世界上首个无线信道的基础模型，采用基于Transformer架构的自监督掩码信道建模（MCM）方法，生成通用的、上下文感知的信道嵌入。LWM在大规模合成无线数据集上进行预训练，显著提升了下游任务（如信道估计和波束成形）的性能，尤其在低数据量场景下，优于原始信道表示和传统模型。

ABSTRACT

This paper presents Large Wireless Model (LWM) -- the world's first foundation model for wireless channels. Designed as a task-agnostic model, LWM generates universal, rich, contextualized channel embeddings (features) that potentially enhance performance across a wide range of downstream tasks in wireless communication and sensing systems. Towards this objective, LWM, which has a transformer-based architecture, was pre-trained in a self-supervised manner on large-scale wireless channel datasets. Our results show consistent improvements in downstream tasks when using the LWM embeddings compared to raw channel representations, especially in scenarios with high-complexity machine learning tasks and limited training datasets. This LWM's ability to learn from large-scale wireless data opens a promising direction for intelligent systems that can efficiently adapt to diverse tasks with limited data, paving the way for addressing key challenges in wireless communication and sensing systems.

研究动机与目标

• 为解决无线通信与感知系统中标签数据有限和泛化能力差的挑战。
• 开发一种与任务无关的通用特征提取器，适用于波束成形、干扰管理、信道估计等多样化下游无线任务。
• 通过在大规模无线数据上进行自监督预训练，实现富含上下文感知的表示，支持高效、实时推理。
• 克服传统深度学习模型（如CNN、RNN）在捕捉复杂时空依赖关系以及在动态无线环境中泛化能力方面的局限性。
• 建立无线系统的基础模型框架，支持迁移学习与最小化任务特定数据的适应能力。

提出的方法

• LWM采用基于Transformer的架构，利用多头自注意力机制建模无线信道数据中的时空依赖关系。
• 将输入信道划分为固定大小的块，每个块经过线性嵌入，并与可学习的位置编码相结合。
• LWM通过掩码信道建模（MCM）目标进行预训练，其中随机块被掩码，模型利用自注意力机制和线性解码器预测被掩码的块。
• MCM损失定义为预测值与原始块值之间的均方误差：$\mathcal{L}_{\mathsf{MCM}} = \frac{1}{|\mathcal{M}|}\sum_{i\in\mathcal{M}}\left\|\mathbf{W}_{i}^{\mathsf{dec}}\mathbf{e}_{i}^{\mathsf{LWM}} - \mathbf{p}_{i}\right\|^{2}$。
• 预训练完成后，模型可直接从原始信道生成任务就绪的嵌入，无需解码，从而实现实时推理。
• 模型在覆盖多样化传播环境的大规模合成无线数据集上进行训练，使其具备向真实世界场景泛化的能力。

实验结果

研究问题

• RQ1 在大规模合成无线数据上预训练的基础模型，能否在标签数据有限的情况下，有效泛化到多样化的下游无线任务？
• RQ2 与基于重建的自编码器目标相比，自监督掩码信道建模（MCM）目标在捕捉复杂信道依赖关系方面表现如何？
• RQ3 与原始信道输入相比，LWM生成的嵌入在信道估计、波束成形和干扰管理中的性能提升程度如何？
• RQ4 LWM的注意力机制在捕捉无线数据中长距离和局部时空依赖关系方面，相较于CNN或RNN是否更具优势？
• RQ5 使用与任务无关的通用特征提取器，对模型在异构无线环境中的效率与适应性有何影响？

主要发现

• LWM在多个下游任务（如信道分类与回归）中持续优于原始信道表示，尤其在高复杂度和低数据量场景下表现突出。
• 自监督MCM预训练目标使LWM能够学习到丰富且上下文感知的嵌入，更有效地捕捉无线信道中的局部与长程依赖关系，优于自编码器方法。
• LWM的嵌入可直接用于下游任务，无需额外解码或微调，支持高效实时推理。
• 与CNN、RNN等传统深度学习模型相比，LWM通过更优建模无线信号中的时空依赖关系，展现出更强的性能。
• 由于在广泛多样的合成信道场景上进行预训练，LWM在不同无线环境中表现出强大的泛化能力，显著降低了对任务特定标签数据的依赖。
• 预训练的LWM模型，连同数据集、代码和演示，已公开发布于Hugging Face，支持广泛的研究与应用集成。