[論文レビュー] Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities

Zheng Lin, Guanqiao Qu+4 more|arXiv (Cornell University)|Sep 28, 2023

Topic Modeling被引用数 31

ひとこと要約

大規模言語モデルを6Gモバイルエッジで展開することを主張するポジションペーパー。アーキテクチャ、課題、エッジでのトレーニング/推論技術を詳述し、ユーザー近傍で効率的でプライベートなマルチモーダルLLMの実現を目指す。

ABSTRACT

Large language models (LLMs), which have shown remarkable capabilities, are revolutionizing AI development and potentially shaping our future. However, given their multimodality, the status quo cloud-based deployment faces some critical challenges: 1) long response time; 2) high bandwidth costs; and 3) the violation of data privacy. 6G mobile edge computing (MEC) systems may resolve these pressing issues. In this article, we explore the potential of deploying LLMs at the 6G edge. We start by introducing killer applications powered by multimodal LLMs, including robotics and healthcare, to highlight the need for deploying LLMs in the vicinity of end users. Then, we identify the critical challenges for LLM deployment at the edge and envision the 6G MEC architecture for LLMs. Furthermore, we delve into two design aspects, i.e., edge training and edge inference for LLMs. In both aspects, considering the inherent resource limitations at the edge, we discuss various cutting-edge techniques, including split learning/inference, parameter-efficient fine-tuning, quantization, and parameter-sharing inference, to facilitate the efficient deployment of LLMs. This article serves as a position paper for thoroughly identifying the motivation, challenges, and pathway for empowering LLMs at the 6G edge.

研究の動機と目的

• 6Gのエッジで大規模言語モデルを展開する動機づけ：クラウドベースのLLMの遅延、帯域幅、プライバシーの制約に対処する。
• 通信、計算、ストレージの制約を含むエッジ展開の主要な課題を特定する。
• LLMsに特化した6G MECアーキテクチャを提案し、リソース制限下でのエッジトレーニングと推論の戦略を概説する。

提案手法

• ネットワーク管理、エッジモデルキャッシュ、エッジトレーニング/推論モジュールを備えた6G MECアーキテクチャを提案する。
• 帯域幅と遅延を削減するためのモデル配置、共有、圧縮を検討する。
• アダプタ、プロンプト、LoRAなどのパラメータ効率の高い微調整手法と、エッジトレーニングの分割学習の派生手法を検討・提唱する。
• split edge learning の概念と multi-hop SL を分散学習として導入する。
• 通信量とメモリ要求を削減するための量子化トレーニング（QSGD、FQT、4-bit LoRA）および量子化推論（PTQ、QAT）を検討する。
• GPUメモリ制約を管理するためのメモリ認識的/パラメータ共有推論を検討する。）

実験結果

リサーチクエスチョン

• RQ1 6GモバイルエッジネットワークでのLLMの効果的な配置、キャッシュ、協調を可能にするアーキテクチャ設計はどのようなものか？
• RQ2 パラメータ効率の高い手法と分散学習技術を用いて、資源制限のあるMEC上でエッジトレーニング（微調整）を実現するにはどうすればよいか？
• RQ3 マルチホップエッジ環境でマルチモーダルLLMのエッジ推論の遅延とメモリ使用を最適化する技術は何か？
• RQ4 モデル圧縮、量子化、パラメータ共有は6Gエッジ環境において精度、遅延、ストレージのトレードオフをどう変えるか？

主な発見

• エッジのキャッシュとパラメータ共有はエッジでのLLMの帯域幅とストレージ要件を削減できる。
• パラメータ効率の高い微調整手法（例：アダプタ、プロンプト、LoRA）は訓練可能なパラメータ数を大幅に削減し、エッジ適応を現実的にする。
• Split learningと多段 SL はトレーニングを複数のエッジサーバに分散し、遅延と計算負荷のバランスを取る。
• 量子化トレーニング（QSGD、FQT、4-bit LoRA）および量子化推論（PTQ、QAT）は通信、計算、メモリ要件を低減しつつ性能を保つ。
• ビット精度のカスタマイズを伴う量子化エッジ推論はリソース利用可能性とQoS要件に適応できる。
• 推論時のメモリ要件はパラメータ共有により軽減できるが、共有の増加は精度のトレードオフを伴う。