[论文解读] Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities

Zheng Lin, Guanqiao Qu+4 more|arXiv (Cornell University)|Sep 28, 2023

Topic Modeling被引用 31

一句话总结

一份立场论文，主张在6G移动边缘部署大语言模型，详细说明架构、挑战，以及边缘训练/推理技术，以在用户附近实现高效、私密的多模态LLM。

ABSTRACT

Large language models (LLMs), which have shown remarkable capabilities, are revolutionizing AI development and potentially shaping our future. However, given their multimodality, the status quo cloud-based deployment faces some critical challenges: 1) long response time; 2) high bandwidth costs; and 3) the violation of data privacy. 6G mobile edge computing (MEC) systems may resolve these pressing issues. In this article, we explore the potential of deploying LLMs at the 6G edge. We start by introducing killer applications powered by multimodal LLMs, including robotics and healthcare, to highlight the need for deploying LLMs in the vicinity of end users. Then, we identify the critical challenges for LLM deployment at the edge and envision the 6G MEC architecture for LLMs. Furthermore, we delve into two design aspects, i.e., edge training and edge inference for LLMs. In both aspects, considering the inherent resource limitations at the edge, we discuss various cutting-edge techniques, including split learning/inference, parameter-efficient fine-tuning, quantization, and parameter-sharing inference, to facilitate the efficient deployment of LLMs. This article serves as a position paper for thoroughly identifying the motivation, challenges, and pathway for empowering LLMs at the 6G edge.

研究动机与目标

• 推动在6G边缘部署大语言模型，以解决云端LLMs的延迟、带宽和隐私限制。
• 识别边缘部署中的关键挑战，包括通信、计算和存储约束。
• 提出针对LLMs的6G MEC架构，并概述在资源有限条件下的边缘训练与推理策略。

提出的方法

• 提出具有网络管理、边缘模型缓存和边缘训练/推理模块的6G MEC架构。
• 讨论模型放置、共享和压缩，以降低带宽和延迟。
• 回顾并倡导参数高效微调（如适配器、提示、LoRA）以及用于边缘训练的分割学习变体。
• 引入分割边缘学习概念和多跳SL，将训练分布在多个边缘服务器。
• 研究量化训练和量化推理（QSGD、FQT、PTQ）以降低通信和内存需求。
• 探索内存感知的参数共享推理，以应对GPU内存约束。

实验结果

研究问题

• RQ1 在6G移动边缘网络中，什么样的架构设计能够实现对LLMs的有效放置、缓存和协同？
• RQ2 如何通过参数高效方法和分布式学习技术，使资源有限的MEC上的边缘训练（微调）变得可行？
• RQ3 在多跳边缘环境中，哪些技术可优化多模态LLMs的边缘推理延迟和内存使用？
• RQ4 在6G边缘场景中，模型压缩、量化和参数共享如何在精度、延迟和存储之间权衡？

主要发现

• 边缘缓存和参数共享可降低边缘LLMs的带宽与存储需求。
• 参数高效微调方法（如适配器、提示、LoRA）显著降低可训练参数数量，并实现可行的边缘适配。
• 分割学习和多跳SL可以在多个边缘服务器之间分布训练，平衡延迟和计算负载。
• 量化训练（QSGD、FQT、4-bit LoRA）和量化推理（PTQ、QAT）可以降低通信、计算和内存需求，同时保持性能。
• 具有比特精度自定义的边缘推理量化可以适应资源可用性和QoS要求。
• 推理过程中的内存需求可以通过参数共享来缓解，尽管共享增加时准确度会有权衡。