[논문 리뷰] Large Language Models Empowered Autonomous Edge AI for Connected Intelligence

Yifei Shen, Jiawei Shao외 6명|arXiv (Cornell University)|2023. 07. 06.

IoT and Edge/Fog Computing인용 수 8

한 줄 요약

본 논문은 GPT 기반 클라우드-에지-클라이언트 프레임워크를 통해 에지 AI 모델을 자율적으로 조정하고 연합 학습 코드를 자동으로 생성하여 연결된 환경에서 프라이버시를 보장하고 지연 시간을 낮춘 에지 인텔리전스를 구현하는 방법을 제시합니다.

ABSTRACT

The evolution of wireless networks gravitates towards connected intelligence, a concept that envisions seamless interconnectivity among humans, objects, and intelligence in a hyper-connected cyber-physical world. Edge artificial intelligence (Edge AI) is a promising solution to achieve connected intelligence by delivering high-quality, low-latency, and privacy-preserving AI services at the network edge. This article presents a vision of autonomous edge AI systems that automatically organize, adapt, and optimize themselves to meet users' diverse requirements, leveraging the power of large language models (LLMs), i.e., Generative Pretrained Transformer (GPT). By exploiting the powerful abilities of GPT in language understanding, planning, and code generation, as well as incorporating classic wisdom such as task-oriented communication and edge federated learning, we present a versatile framework that efficiently coordinates edge AI models to cater to users' personal demands while automatically generating code to train new models in a privacy-preserving manner. Experimental results demonstrate the system's remarkable ability to accurately comprehend user demands, efficiently execute AI models with minimal cost, and effectively create high-performance AI models at edge servers.

연구 동기 및 목표

• 사용자의 요구에 맞게 에지 AI 모델을 자동으로 구성, 적응 및 최적화하도록 자율 에지 AI를 고무합니다.
• 대형 언어 모델(GPT)을 활용하여 사용자 의도를 이해하고, 작업을 계획하며, 학습 코드를 생성합니다.
• 지연 시간을 줄이고 신뢰성을 향상시키기 위해 GPT 주도 조정과 에지 AI 지혜를 결합하는 클라우드-에지-클라이언트 계층적 프레임워크를 제안합니다.
• 끝-to-end 작업 이해, 저지연 실행 및 에지에서의 자동 모델 학습을 보여주는 개념 증명 시스템을 시연합니다.

제안 방법

• 사용자를 의도 이해하고 에지 AI 모델 풀에서 적합한 모델을 선택하기 위해 GPT를 활용합니다.
• 저지연을 위한 작업 지향 추론 및 모델 분할과 피처 압축을 통한 엣지 동시 추론을 적용합니다.
• GPT가 안내하는 템플릿 코드 생성과 구성의 반복적 정제를 통해 자동화된 에지 연합 학습 워크플로우를 도입합니다.
• 에지 전용 및 클라이언트 전용 기준선과 비교하여 지연, 정확도 및 통신 비용을 평가합니다.
• 여러 시도에 걸쳐 GPT 생성 연합 학습 구성을 시연하여 반복적 개선을 보여줍니다.

실험 결과

연구 질문

• RQ1 GPT가 자연어로 표현된 사용 의도를 정확히 이해하고 적합한 에지 AI 모델을 선택할 수 있는가?
• RQ2 클라우드-에지-클라이언트 프레임워크가 동시 추론 및 작업 지향 압축과 함께 저지연 작업 실행을 달성할 수 있는가?
• RQ3 GPT가 프라이버시를 보존하면서 새로운 에지 모델을 학습시키기 위한 연합 학습 코드를 자율적으로 생성하고 정제할 수 있는가?
• RQ4 제안된 아키텍처가 지연, 정확도 및 통신 비용 면에서 에지 전용 및 클라이언트 전용 기준선과 어떻게 비교되는가?

주요 결과

모델	정확도 ↑	F1 ↑	지연 시간 ↓
GPT-3 350M	32.93%	33.95%	0.37 sec
GPT-3 6.7B	40.24%	42.31%	0.55 sec
GPT-3 175B	68.89%	74.70%	0.45 sec
GPT-3 175B IT	84.44%	85.39%	0.58 sec
제로샷 분류	36.59%	36.59%	0.28 sec

• GPT 기반 모델 선택은 더 큰 모델일수록 성능이 향상되어 높은 정확도(GPT-3 175B IT: 84.44% Acc, 85.39% F1 등)를 달성합니다.
• 클라이언트-에지 동시 추론은 손실 없는 압축으로 에지 전용과 유사한 정확도를 달성하면서 통신 비용을 줄입니다.
• 다양한 네트워크 조건에서 에지 및 클라이언트 전용 기준선은 지연 시간이나 비용이 더 높게 나타나고, 클라우드 전용은 왕복 시간으로 인해 가장 느립니다.
• GPT를 활용한 자동 연합 학습은 반복적으로 모델 성능을 향상시켜, 후반 실험에서 Baseline ResNet18 파인튜닝을 능가합니다.
• 작업 지향 압축은 추론 성능을 유지하면서 데이터 전송을 줄입니다.
• 이 프레임워크는 클라우드-에지-클라이언트 설정에서 엔드-투-엔드 지연 시간 감소 및 효과적인 도메인 적응을 보여줍니다.