[論文レビュー] Cached Model-as-a-Resource: Provisioning Large Language Model Agents for Edge Intelligence in Space-air-ground Integrated Networks

Minrui Xu, Dusit Niyato+5 more|arXiv (Cornell University)|Mar 9, 2024

Satellite Communication Systems被引用数 7

ひとこと要約

この論文は SAGINs における LLM エージェントサービス提供を目的としたモデルキャッシュと推論を統合したフレームワークを提案し、キャッシュ済みモデルを資源として導入し、思考の Age-of-Thought (AoT) 指標と、効率性向上とアドバース選択の緩和を図る DRL ベースの MSB オークションを導入します。

ABSTRACT

Edge intelligence in space-air-ground integrated networks (SAGINs) can enable worldwide network coverage beyond geographical limitations for users to access ubiquitous and low-latency intelligence services. Facing global coverage and complex environments in SAGINs, edge intelligence can provision approximate large language models (LLMs) agents for users via edge servers at ground base stations (BSs) or cloud data centers relayed by satellites. As LLMs with billions of parameters are pre-trained on vast datasets, LLM agents have few-shot learning capabilities, e.g., chain-of-thought (CoT) prompting for complex tasks, which raises a new trade-off between resource consumption and performance in SAGINs. In this paper, we propose a joint caching and inference framework for edge intelligence to provision sustainable and ubiquitous LLM agents in SAGINs. We introduce "cached model-as-a-resource" for offering LLMs with limited context windows and propose a novel optimization framework, i.e., joint model caching and inference, to utilize cached model resources for provisioning LLM agent services along with communication, computing, and storage resources. We design "age of thought" (AoT) considering the CoT prompting of LLMs, and propose a least AoT cached model replacement algorithm for optimizing the provisioning cost. We propose a deep Q-network-based modified second-bid (DQMSB) auction to incentivize network operators, which can enhance allocation efficiency by 23% while guaranteeing strategy-proofness and free from adverse selection.

研究の動機と目的

• SAGINs におけるエッジ・インテリジェンスを動機づけ、限られた資源で普遍的な LLM エージェントサービスを提供する。
• 通信、計算、ストレージに加え、新しい資源タイプとしてキャッシュ済みモデルを導入する。
• 提供コストを最小化しつつカバレッジ制約を満たすジョイントなモデルキャッシュと推論フレームワークを開発する。
• CoT プロンプトを管理しキャッシュ eviction の意思決定に情報を提供するための AoT 指標を定義・活用する。
• 戦略耐性を確保しつつ逆選択を回避する DQMSB オークションを設計する。

提案手法

• SAGINs におけるモデルキャッシュ、リクエストオフロード、資源配分のジョイント最適化フレームワークを定式化する。
• キャッシュされた LLM 内の中間的な CoT 思考の新鮮さを定量化する AoT 指標を導入する。
• 最小 AoT 影響でキャッシュを置換する Least AoT キャッシュ置換アルゴリズムを提案する。
• エッジ LLM エージェント内での CoT 推論プロセスとコンテキストウィンドウ使用・Few-shot 学習との関係をモデル化する。
• 価格設定を最適化しつつ戦略耐性を保証する DRL ベースの改良 DQMSB オークションを開発する。

Figure 1: Joint caching and inference framework for provisioning large language model (LLM) agents in SAGINs.

実験結果

リサーチクエスチョン

• RQ1 SAGINs における異種のエッジ資源と限られたコンテキストウィンドウを前提に、LLM エージェントサービスを効率的にプロビジョニングするにはどうすればよいか？
• RQ2 キャッシュされた LLM を資源として扱い、レイテンシとエネルギーを削減しつつ CoT プロンプトをサポートするにはどうすればよいか？
• RQ3 逆選択を回避しつつ戦略耐性を保ちながら、資源共有を促すオークション機構を設計できるか？
• RQ4 CoT プ prompting と AoT 対応キャッシュがプロビジョニングコストとサービス品質に与える影響は何か？

主な発見

• SAGINs におけるエッジ・インテリジェンスのためのキャッシュド・モデル資源概念を導入する。
• AoT を定義して中間的 CoT 思考の関連性と整合性を捉え、それをキャッシュ eviction の指針に活用する。
• GPU、帯域幅、カバレッジ制約の下でプロビジョニングコストを最小化する Least AoT キャッシュ置換アルゴリズムを提案する。
• DRL を用いた DQMSB オークション枠組みを開発し、価格スケールを選択することで割り当て効率を向上させ、逆選択を緩和する。
• クラウドデータセンター、衛星、地上基地局を統合して、レイテンシを低減しプライバシーを強化したLLMエージェントサービスを提供する枠組みを概説する。

Figure 2: The workflow of the joint caching and inference framework for provisioning LLM agents with cached models.