[论文解读] Large Language Model Enabled Multi-Task Physical Layer Network

Tianyue Zheng, Linglong Dai|arXiv (Cornell University)|Dec 30, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

本文提出了一种基于大语言模型（LLM）的多任务物理层网络，将多用户预编码、信号检测和信道预测统一在一个LLM框架中。通过设计特定任务的指令、编码器和解码器，该模型在多个无线通信任务中实现了与专用单任务LLM相当的性能，同时显著降低了训练和部署成本。

ABSTRACT

The advance of Artificial Intelligence (AI) is continuously reshaping the future 6G wireless communications. Particularly, the development of Large Language Models (LLMs) offers a promising approach to effectively improve the performance and generalization of AI in different physical-layer (PHY) tasks. However, most existing works finetune dedicated LLM networks for a single wireless communication task separately. Thus performing diverse PHY tasks requires extremely high training resources, memory usage, and deployment costs. To solve the problem, we propose a LLM-enabled multi-task PHY network to unify multiple tasks with a single LLM, by exploiting the excellent semantic understanding and generation capabilities of LLMs. Specifically, we first propose a multi-task LLM framework, which finetunes LLM to perform multi-user precoding, signal detection and channel prediction simultaneously. Besides, multi-task instruction module, input encoders, as well as output decoders, are elaborately designed to distinguish different tasks. The proposed design allows different wireless data types to be well aligned with the LLM input format. Moreover, low-rank adaptation (LoRA) is utilized for LLM fine-tuning. To reduce the memory requirement during LLM fine-tuning, a LoRA fine-tuning-aware quantization method is introduced. Extensive numerical simulations are also displayed to verify the effectiveness of the proposed method.

研究动机与目标

• 为解决在6G无线通信中为每个物理层任务单独训练LLM所带来的高计算和部署成本问题。
• 将多个物理层任务——多用户预编码、信号检测和信道预测——统一在一个LLM架构下。
• 设计一个多任务指令模块以及特定任务的编码器/解码器，以将异构的无线数据格式适配到LLM的基于文本的输入和输出空间。
• 评估多任务LLM在多样化无线环境和信噪比（SNR）下的泛化能力和鲁棒性。
• 证明单个LLM可实现与特定任务模型相当的性能，从而减少冗余和资源开销。

提出的方法

• 提出一种多任务LLM框架，微调单个LLM以联合执行多用户预编码、信号检测和信道预测。
• 设计一个多任务指令模块，生成自然语言形式的任务特定提示，以引导LLM在不同任务中的行为。
• 设计特定任务的输入编码器，将原始无线数据（如CSI、接收信号）转换为与LLM输入格式兼容的标记化文本嵌入。
• 设计特定任务的输出解码器，将LLM的基于文本的输出映射回物理层信号格式（如预编码向量、检测符号）。
• 在整合了所有三项任务的统一数据集上端到端微调LLM，实现联合优化和跨任务知识迁移。
• 该框架利用LLM的全局推理能力和少样本泛化能力，以应对不同的信道条件和用户配置。

Figure 1: The model framework of our method.

实验结果

研究问题

• RQ1 单个LLM能否被有效微调以同时执行多个不同的物理层任务？
• RQ2 如何有效将异构的无线数据格式（如矩阵、时间序列、向量）编码为基于文本的LLM输入空间？
• RQ3 多任务LLM与专用单任务LLM在物理层任务上的性能权衡如何？
• RQ4 在低信噪比（SNR）环境下，多任务LLM相较于经典方法和深度学习基线的性能表现如何？
• RQ5 多任务LLM能否在不重新训练的情况下泛化到不同的信道分布？

主要发现

• 所提出的多任务LLM在所有发射功率水平（从-10到20 dBW）下，实现的和速率性能与单任务LLM在多用户预编码任务中相当。
• 在信号检测任务中，多任务LLM的NMSE性能与单任务LLM相当，尤其在低SNR环境下表现更优。
• 该多任务LLM优于传统方法（如ZF和CNN），并接近迭代WMMSE和OAMP-Net的性能，尤其在低复杂度场景下表现突出。
• 该模型在低SNR条件下表现出强鲁棒性，表明其对复杂信道环境具有有效的泛化能力。
• 通过将多个任务统一在一个LLM下，该框架显著降低了训练和部署成本，避免了为每项任务单独训练模型的需要。
• 仿真结果证实，多任务LLM在所有三项任务中均保持高精度和强泛化能力，且无性能退化。

Figure 2: Detailed illustration of encoders and decoders.