[논문 리뷰] Cached Model-as-a-Resource: Provisioning Large Language Model Agents for Edge Intelligence in Space-air-ground Integrated Networks

Minrui Xu, Dusit Niyato외 5명|arXiv (Cornell University)|2024. 03. 09.

Satellite Communication Systems인용 수 7

한 줄 요약

이 논문은 SAGINs에서 LLM 에이전트 서비스를 제공하기 위한 공동 모델 캐싱 및 추론 프레임워크를 제시하며, 캐시된 모델을 자원으로 도입하고, age-of-thought(AoT) 지표를 도입하고, 효율성을 높이고 역선택을 완화하기 위한 DRL 기반 MSB 경매를 제시합니다.

ABSTRACT

Edge intelligence in space-air-ground integrated networks (SAGINs) can enable worldwide network coverage beyond geographical limitations for users to access ubiquitous and low-latency intelligence services. Facing global coverage and complex environments in SAGINs, edge intelligence can provision approximate large language models (LLMs) agents for users via edge servers at ground base stations (BSs) or cloud data centers relayed by satellites. As LLMs with billions of parameters are pre-trained on vast datasets, LLM agents have few-shot learning capabilities, e.g., chain-of-thought (CoT) prompting for complex tasks, which raises a new trade-off between resource consumption and performance in SAGINs. In this paper, we propose a joint caching and inference framework for edge intelligence to provision sustainable and ubiquitous LLM agents in SAGINs. We introduce "cached model-as-a-resource" for offering LLMs with limited context windows and propose a novel optimization framework, i.e., joint model caching and inference, to utilize cached model resources for provisioning LLM agent services along with communication, computing, and storage resources. We design "age of thought" (AoT) considering the CoT prompting of LLMs, and propose a least AoT cached model replacement algorithm for optimizing the provisioning cost. We propose a deep Q-network-based modified second-bid (DQMSB) auction to incentivize network operators, which can enhance allocation efficiency by 23% while guaranteeing strategy-proofness and free from adverse selection.

연구 동기 및 목표

• SAGINs에서 보편적인 LLM 에이전트 서비스를 제한된 리소스로 제공하기 위한 에지 지능을 동기부여합니다.
• 커뮤니케이션, 컴퓨팅, 저장소에 더해 새로운 자원 유형으로서의 캐시된 모델-자원으로 소개합니다.
• 제공 비용을 최소화하면서 커버리지 제약을 충족하는 공동 모델 캐싱 및 추론 프레임워크를 개발합니다.
• CoT 프롬프트를 관리하고 캐시 제거 결정에 정보를 제공하는 AoT(생각의 연령) 지표를 정의하고 활용합니다.
• 네트워크 운영자를 유인하면서도 전략적 강건성과 역선택 방지를 보장하는 DQMSB 경매를 설계합니다.

제안 방법

• SAGINs에서 모델 캐싱, 요청 오프로드, 자원 할당에 대한 공동 최적화 프레임워크를 형식화합니다.
• 캐시된 LLM 내 중간 CoT 사고의 신선도를 정량화하기 위해 AoT(생각의 연령) 지표를 도입합니다.
• 가장 작은 AoT 캐시 교체 알고리즘을 제안하여 가장 작은 AoT 영향의 캐시된 모델을 제거합니다.
• 에지 LLM 에이전트 내에서 CoT 추론 프로세스와 컨텍스트 윈도우 사용 및 Few-shot 학습과의 관계를 모델링합니다.
• 가격 책정의 최적화를 보장하는 DRL 기반의 수정된 이차 입찰(DQMSB) 경매를 개발합니다.

Figure 1: Joint caching and inference framework for provisioning large language model (LLM) agents in SAGINs.

실험 결과

연구 질문

• RQ1 이종 엣지 자원과 제한된 컨텍스트 윈도우를 고려할 때 SAGINs에서 LLM 에이전트 서비스를 어떻게 효율적으로 제공할 수 있을까?
• RQ2 CoT 프롬프트를 지원하면서 지연 및 에너지를 줄이기 위해 캐시된 LLM을 자원으로 다루는 방법은?
• RQ3 역선택 없이 운영자들이 자원을 공유하도록 유인하고 전략적 강건성을 유지하는 경매 메커니즘을 설계할 수 있을까?
• RQ4 CoT 프롬프트와 AoT 인식 캐싱이 제공 비용 및 서비스 품질에 미치는 영향은?

주요 결과

• SAGINs에서 엣지 인텔리전스를 위한 자원으로서의 캐시된 모델 개념을 도입합니다.
• AoT를 정의하여 중간 CoT 사고의 관련성 및 일관성을 포착하고 이를 캐시 제거 지침으로 사용합니다.
• GPU, 대역폭, 커버리지 제약 하에서 제공 비용을 최소화하기 위한 가장 작은 AoT 캐시 교체 알고리즘을 제안합니다.
• DRL을 사용한 DQMSB 경매 프레임워크를 개발하여 가격 책정 규모를 선택하고 배치 효율성을 개선하며 역선택을 완화합니다.
• 클라우드 데이터 센터, 위성, 지상 기지국을 통합하여 지연 감소 및 프라이버시 강화로 LLM 에이전트 서비스를 제공하는 프레임워크를 제시합니다.

Figure 2: The workflow of the joint caching and inference framework for provisioning LLM agents with cached models.