[논문 리뷰] Communication-Efficient Edge AI: Algorithms and Systems

Yuanming Shi, Kai Yang외 3명|arXiv (Cornell University)|2020. 02. 22.

Privacy-Preserving Technologies in Data참고 문헌 174인용 수 26

한 줄 요약

이 논문은 엣지 AI를 위한 통신 효율적인 알고리즘과 시스템에 대한 종합적인 서베이를 제시하며, 분산 학습 및 추론에서의 통신 오버헤드를 줄이는 데 중점을 둔다. 모델 압축, 플러더레이티드 러닝, 코딩된 계산, 최적화된 시스템 아키텍처와 같은 기법을 제안하여 네트워크 엣지에서 효율적인 AI를 실현함으로써 지연 시간과 대역폭 사용을 크게 감소시키면서도 개인정보 보호와 확장성을 유지한다.

ABSTRACT

Artificial intelligence (AI) has achieved remarkable breakthroughs in a wide range of fields, ranging from speech processing, image classification to drug discovery. This is driven by the explosive growth of data, advances in machine learning (especially deep learning), and easy access to vastly powerful computing resources. Particularly, the wide scale deployment of edge devices (e.g., IoT devices) generates an unprecedented scale of data, which provides the opportunity to derive accurate models and develop various intelligent applications at the network edge. However, such enormous data cannot all be sent from end devices to the cloud for processing, due to the varying channel quality, traffic congestion and/or privacy concerns. By pushing inference and training processes of AI models to edge nodes, edge AI has emerged as a promising alternative. AI at the edge requires close cooperation among edge devices, such as smart phones and smart vehicles, and edge servers at the wireless access points and base stations, which however result in heavy communication overheads. In this paper, we present a comprehensive survey of the recent developments in various techniques for overcoming these communication challenges. Specifically, we first identify key communication challenges in edge AI systems. We then introduce communication-efficient techniques, from both algorithmic and system perspectives for training and inference tasks at the network edge. Potential future research directions are also highlighted.

연구 동기 및 목표

• 기하급수적으로 증가하는 데이터 생성과 제한된 네트워크 자원으로 인해 발생하는 엣지 AI 시스템 내 통신 오버헤드 증가 문제를 해결하기 위해.
• 고지연, 대역폭 제약, 데이터 개인정보 보호 우려 등의 과제를 겪는 엣지에서의 분산 AI 학습 및 추론 문제를 해결하기 위해.
• 엣지 AI를 위한 알고리즘적 및 시스템 수준 설계에서의 통신 효율적인 기법들을 서베이하고 분류하기 위해.
• 확장 가능한 엣지 AI 구현을 위한 하드웨어, 소프트웨어, 서비스 플랫폼 분야에서의 핵심 연구 격차와 향후 방향을 규명하기 위해.

제안 방법

• 분산 학습을 위한 제로차수, 일차, 이차 최적화 방법으로 통신 효율적인 알고리즘을 분류하기 위해.
• 계산을 분산시키고 통신 부담을 줄이기 위해 모델 파artition 기반 및 데이터 파artition 기반의 시스템 아키텍처를 제안하기 위해.
• 모든 계산 노드의 부분 집합에서도 복구가 가능하도록 해서 스트래글러 효과를 완화하는 코딩된 계산 기법을 도입하기 위해.
• 학습 기반 코드 설계를 사용하여 무선 환경에서의 강건성을 확보하기 위해 코딩 이론을 비선형 계산(예: DNN 추론)에 적용하기 위해.
• 작업 할당 및 통신 스케줄링 최적화를 통해 계산 오프로딩을 엣지 추론과 통합하기 위해.
• 기존 엣지 AI 플랫폼(예: FATE, NVIDIA Clara)을 서베이하고, 통합 자원 관리 기능을 갖춘 엣지 AI as a Service(EaaS) 비전을 제안하기 위해.

실험 결과

연구 질문

• RQ1 모델 정확도를 훼손하지 않으면서 분산 엣지 AI 학습에서 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ2 엣지 AI에서 통신 비용과 계산 효율성 사이를 균형 잡는 데 가장 효과적인 시스템 수준 아키텍처(데이터 vs. 모델 파artition)는 무엇인가?
• RQ3 코딩 기법을 활용해 분산 엣지 추론에서의 스트래글러 효과를 어떻게 완화할 수 있는가?
• RQ4 하드웨어 및 소프트웨어 플랫폼은 확장 가능하고 안전한 엣지 AI 구현을 위해 어떻게 기여하는가?
• RQ5 계산, 통신, 스토리지, 전력 자원을 통합 관리하는 방식으로 엣지 AI를 서비스로 제공하는 방법은 무엇인가?

주요 결과

• 플러더레이티드 러닝은 원시 데이터를 클라우드로 전송할 필요 없이 엣지 디바이스 간 협업 학습을 가능하게 하여 데이터 개인정보 보호를 유지한다.
• 코딩된 계산 기법은 다양한 디바이스 성능 변화 상황에서도 계산 노드의 부분 집합에서 복구가 가능하게 하여 분산 추론의 효과적 지연 시간을 감소시킨다.
• 모델 압축 및 양자화 기법은 모델 크기와 통신 비용을 크게 줄여 자원 제약이 있는 엣지 디바이스에서의 효율적 배포를 가능하게 한다.
• Google의 Edge TPU와 NVIDIA의 Jetson 시리즈와 같은 엣지 AI 하드웨어는 현장 내 추론을 가속화하지만, 향후 시스템은 애플리케이션 특화 최적화가 필요하다.
• FATE와 NVIDIA Clara와 같은 소프트웨어 플랫폼은 헬스케어 및 금융 분야에서 개인정보 보호형 협업 학습을 지원하는 도메인 특화 엣지 AI 프레임워크의 실현 가능성을 보여준다.
• 통신 효율적인 알고리즘과 시스템 수준 최적화의 통합은 엣지 AI 워크로드에서 종단 간 지연 시간과 대역폭 사용을 상당히 감소시킨다.