[논문 리뷰] Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities

Zheng Lin, Guanqiao Qu외 4명|arXiv (Cornell University)|2023. 09. 28.

Topic Modeling인용 수 31

한 줄 요약

6G 모바일 에지에서 대형 언어 모델을 배치하는 것을 주장하는 입장문으로, 사용자가 가까운 곳에서 효율적이고 프라이버시 있는 다중 모달 LLM을 가능하게 하는 아키텍처, 도전 과제, 그리고 에지-트레이닝/추론 기술을 상세히 설명합니다.

ABSTRACT

Large language models (LLMs), which have shown remarkable capabilities, are revolutionizing AI development and potentially shaping our future. However, given their multimodality, the status quo cloud-based deployment faces some critical challenges: 1) long response time; 2) high bandwidth costs; and 3) the violation of data privacy. 6G mobile edge computing (MEC) systems may resolve these pressing issues. In this article, we explore the potential of deploying LLMs at the 6G edge. We start by introducing killer applications powered by multimodal LLMs, including robotics and healthcare, to highlight the need for deploying LLMs in the vicinity of end users. Then, we identify the critical challenges for LLM deployment at the edge and envision the 6G MEC architecture for LLMs. Furthermore, we delve into two design aspects, i.e., edge training and edge inference for LLMs. In both aspects, considering the inherent resource limitations at the edge, we discuss various cutting-edge techniques, including split learning/inference, parameter-efficient fine-tuning, quantization, and parameter-sharing inference, to facilitate the efficient deployment of LLMs. This article serves as a position paper for thoroughly identifying the motivation, challenges, and pathway for empowering LLMs at the 6G edge.

연구 동기 및 목표

• 6G 에지에서 대형 언어 모델 배치를 추진하여 클라우드 기반 LLM의 지연, 대역폭, 프라이버시 한계를 addressing합니다.
• 에지 배치에서의 커뮤니케이션, 계산, 저장 제약을 포함한 주요 도전 과제를 식별합니다.
• LLMs에 맞춘 6G MEC 아키텍처를 제시하고 리소스 한계 하에서 에지 트레이닝 및 추론 전략을 개략합니다.

제안 방법

• 네트워크 관리, 에지 모델 캐싱, 에지 트레이닝/추론 모듈을 갖춘 6G MEC 아키텍처를 제안합니다.
• 대역폭 및 지연을 줄이기 위한 모델 배치, 공유, 압축을 논의합니다.
• 파라미터 효율적 파인튜닝(예: 어댑터, 프롬프트, LoRA) 및 에지 트레이닝을 위한 분할 학습 변형을 검토하고 옹호합니다.
• 에지 학습을 분산하기 위한 분할 에지 학습 개념과 다중 경로 SL을 소개합니다.
• 의사소통 및 메모리 요구를 줄이기 위한 양자화 트레이닝(QSGD, FQT, PTQ)과 양자화 추론(PTQ, QAT)을 검토합니다.
• GPU 메모리 제약을 관리하기 위한 메모리 인지적 파라미터 공유 추론을 탐구합니다.

실험 결과

연구 질문

• RQ1 6G 모바일 에지 네트워크에서 LLM의 효과적 배치, 캐싱 및 조정을 가능하게 하는 아키텍처 디자인은 무엇인가요?
• RQ2 제한된 MEC에서 파라미터 효율적 방법과 분산 학습 기법을 사용하여 에지 트레이닝(파인튜닝)을 현실화할 수 있는가요?
• RQ3 다중 경로 에지 환경에서 다중 모달 LLM의 에지 추론 지연 및 메모리 사용을 최적화하는 기법은 무엇인가요?
• RQ4 모델 압축, 양자화, 파라미터 공유가 6G 에지 맥락에서 정확도, 지연 및 저장 공간에 어떤 trade-off를 가지나요?

주요 결과

• 에지 캐싱 및 파라미터 공유는 에지에서 LLM의 대역폭 및 저장 필요성을 줄일 수 있습니다.
• 파라미터 효율적 파인튜닝 방법(예: 어댑터, 프롬프트, LoRA)은 학습 가능한 파라미터 수를 대폭 줄이고 에지 적합한 적응을 가능하게 합니다.
• 분할 학습 및 다중 경로 SL은 교육을 여러 에지 서버에 분배하여 지연 및 계산 부하를 균형 있게 분산시킬 수 있습니다.
• 양자화 트레이닝(QSGD, FQT, 4-bit LoRA) 및 양자화 추론(PTQ, QAT)은 커뮤니케이션, 계산 및 메모리 요구를 낮추면서 성능을 유지할 수 있습니다.
• 비트 정밀도 커스터마이즈를 통한 양자화 에지 추론은 자원 가용성 및 QoS 요구사항에 적응할 수 있습니다.
• 추론 시 메모리 요구는 파라미터 공유를 통해 완화될 수 있지만, 공유가 증가할수록 정확도에 trade-off가 있습니다.