[論文レビュー] Large Language Models Empowered Autonomous Edge AI for Connected Intelligence

Yifei Shen, Jiawei Shao+6 more|arXiv (Cornell University)|Jul 6, 2023

IoT and Edge/Fog Computing被引用数 8

ひとこと要約

この論文は、エッジAIモデルを自律的に協調させ、フェデレーテッドラーニングコードを自動生成するGPT搭載クラウド-エdge-クライアントフレームワークを提案し、接続環境におけるプライバシー保護・低遅延のエッジ知能を実現する。

ABSTRACT

The evolution of wireless networks gravitates towards connected intelligence, a concept that envisions seamless interconnectivity among humans, objects, and intelligence in a hyper-connected cyber-physical world. Edge artificial intelligence (Edge AI) is a promising solution to achieve connected intelligence by delivering high-quality, low-latency, and privacy-preserving AI services at the network edge. This article presents a vision of autonomous edge AI systems that automatically organize, adapt, and optimize themselves to meet users' diverse requirements, leveraging the power of large language models (LLMs), i.e., Generative Pretrained Transformer (GPT). By exploiting the powerful abilities of GPT in language understanding, planning, and code generation, as well as incorporating classic wisdom such as task-oriented communication and edge federated learning, we present a versatile framework that efficiently coordinates edge AI models to cater to users' personal demands while automatically generating code to train new models in a privacy-preserving manner. Experimental results demonstrate the system's remarkable ability to accurately comprehend user demands, efficiently execute AI models with minimal cost, and effectively create high-performance AI models at edge servers.

研究の動機と目的

• 自動的にエッジAIモデルを整理・適応・最適化して、ユーザ要求を満たすようにすることを動機付ける。
• ユーザ意図を理解し、タスクを計画し、訓練コードを生成するために大規模言語モデル（GPT）を活用する。
• GPT駆動の協調をエッジAIの知恵と統合するクラウド-エッジ-クライアント階層フレームワークを提案し、遅延を削減し信頼性を向上させる。
• エンドツーエンドのタスク理解、低遅延実行、エッジでの自動モデル訓練を示す概念実証システムを実証する。

提案手法

• ユーザ意図理解とエッジAIモデルプールからのモデル選択にGPTを使用する。
• 低遅延のためのタスク指向推論とモデル分割・特徴圧縮によるエッジ共推論を適用する。
• GPT指導のテンプレートコード生成と設定の反復改良による自動エッジフェデレーテッドラーニングワークフローを導入する。
• エッジのみ・クライアントのみのベースラインと比較して遅延・精度・通信コストを評価する。
• 複数試行を通じてGPT生成のフェデレーテッドラーニング設定を示し、反復的改善を示す。

実験結果

リサーチクエスチョン

• RQ1 GPTは自然言語で表現されたユーザ意図を正確に理解し、適切なエッジAIモデルを選択できるか。
• RQ2 クラウド-エッジ-クライアントフレームワークは共推論とタスク指向圧縮で低遅延のタスク実行を達成できるか。
• RQ3 GPTはプライバシーを保ちながら新しいエッジモデルを訓練するフェデレーテッドラーニングコードを自律的に生成・改良できるか。
• RQ4 提案アーキテクチャは遅延・精度・通信コストの点でエッジのみおよびクライアントのみのベースラインと比べてどうか。

主な発見

Model	Acc ↑	F1 ↑	Latency ↓
GPT-3 350M	32.93%	33.95%	0.37 sec
GPT-3 6.7B	40.24%	42.31%	0.55 sec
GPT-3 175B	68.89%	74.70%	0.45 sec
GPT-3 175B IT	84.44%	85.39%	0.58 sec
Zero-shot Classification	36.59%	36.59%	0.28 sec

• GPTベースのモデル選択はより大きなモデルで改善し、精度が向上する（例：GPT-3 175B IT: 84.44% Acc, 85.39% F1）。
• クライアント-エッジ共推論はエッジのみのロスレス圧縮と同等の精度を達成しつつ通信コストを削減。
• エッジおよびクライアントのみのベースラインはネットワーク条件の変化により遅延やコストが高くなる一方、クラウドのみは往復通信の遅延のため最も遅い。
• GPT対応の自動フェデレーテッドラーニングはモデル性能を反復的に改善でき、後の試行で基準のResNet18ファインチューニングを上回る。
• タスク指向圧縮は推論性能を維持しつつデータ伝送を削減する。
• フレームワークはクラウド-エッジ-クライアント設定でエンドツーエンドの遅延削減と効果的なドメイン適応を示す。