[논문 리뷰] Pervasive AI for IoT Applications: Resource-efficient Distributed Artificial Intelligence.

Emna Baccour, Naram Mhaisen외 5명|arXiv (Cornell University)|2021. 05. 04.

IoT and Edge/Fog Computing참고 문헌 270인용 수 11

한 줄 요약

이 논문은 통신 효율적인 알고리즘과 IoT, 엣지, 클라우드 노드 간의 협업 계산을 활용하여 실시간 AI 워크로드(예: 딥러닝 및 온라인 학습)에서 오버헤드를 줄이고 성능을 향상시키는 자원 효율적인 분산 인공지능 프레임워크를 제안한다. 주요 기여는 확장 가능하고 저지연 시간을 갖는 퍼스티브 AI 시스템을 가능하게 하는 기법에 대한 종합적인 서베이이다.

ABSTRACT

Artificial intelligence (AI) has witnessed a substantial breakthrough in a variety of Internet of Things (IoT) applications and services, spanning from recommendation systems to robotics control and military surveillance. This is driven by the easier access to sensory data and the enormous scale of pervasive/ubiquitous devices that generate zettabytes (ZB) of real-time data streams. Designing accurate models using such data streams, to predict future insights and revolutionize the decision-taking process, inaugurates pervasive systems as a worthy paradigm for a better quality-of-life. The confluence of pervasive computing and artificial intelligence, Pervasive AI, expanded the role of ubiquitous IoT systems from mainly data collection to executing distributed computations with a promising alternative to centralized learning, presenting various challenges. In this context, a wise cooperation and resource scheduling should be envisaged among IoT devices (e.g., smartphones, smart vehicles) and infrastructure (e.g. edge nodes, and base stations) to avoid communication and computation overheads and ensure maximum performance. In this paper, we conduct a comprehensive survey of the recent techniques developed to overcome these resource challenges in pervasive AI systems. Specifically, we first present an overview of the pervasive computing, its architecture, and its intersection with artificial intelligence. We then review the background, applications and performance metrics of AI, particularly Deep Learning (DL) and online learning, running in a ubiquitous system. Next, we provide a deep literature review of communication-efficient techniques, from both algorithmic and system perspectives, of distributed inference, training and online learning tasks across the combination of IoT devices, edge devices and cloud servers. Finally, we discuss our future vision and research challenges.

연구 동기 및 목표

• 일반화된 IoT 기기들로부터 유입되는 막대한 실시간 데이터로 인해 퍼스티브 AI 시스템에서 높은 통신 및 계산 오버헤드가 발생하는 문제를 해결하기 위해.
• 중앙집중형 AI 학습의 한계를 극복하기 위해 이질적인 IoT, 엣지, 클라우드 인프라에서 분산 추론, 학습, 온라인 학습을 가능하게 하기 위해.
• 다양한 기기와 네트워크 노드 간의 자원 스케줄링 및 협업 최적화를 통해 시스템 성능과 확장성을 향상시키기 위해.
• 알고리즘적 및 시스템 수준의 관점에서 분산 AI에서의 통신 효율성 기법에 대한 최신 기술을 서베이하고 분석하기 위해.
• 확장 가능하고 효율적이며 지능적인 퍼스티브 컴퓨팅 시스템을 위한 남은 열린 연구 과제와 향후 방향성 규명하기 위해.

제안 방법

• IoT 데이터 스트림과 실시간 의사결정을 중점으로 하여 퍼스티브 컴퓨팅 아키텍처 및 인공지능과의 통합을 서베이하였다.
• 로봇공학, 감시, 추천 시스템 등 다양한 분야에서 딥러닝 및 온라인 학습의 성능 메트릭스와 적용 분야를 검토하였다.
• 모델 압축, 양자화, 기울기 집계를 강조하여 분산 추론, 학습, 온라인 학습을 위한 통신 효율적인 기법을 분석하였다.
• 지연 시간과 대역폭 사용량을 줄이기 위해 엣지 캐싱, 작업 오프로딩, 동적 자원 할당과 같은 시스템 수준 최적화를 평가하였다.
• 중복된 데이터 전송을 최소화하기 위해 IoT 기기, 엣지 노드, 클라우드 서버 간의 협업 AI 실행을 위한 통합 프레임워크를 제안하였다.
• 알고리즘적 및 시스템 수준 연구의 통합된 통찰을 바탕으로 대규모 분산 IoT 생태계에서의 AI 효율적 구현을 안내하였다.

실험 결과

연구 질문

• RQ1 IoT, 엣지, 클라우드 시스템 간의 분산 AI 워크로드에서 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ2 퍼스티브 AI에서 효율적인 분산 추론 및 학습을 가능하게 하는 가장 효과적인 알고리즘적 및 시스템 수준 기법은 무엇인가?
• RQ3 이질적인 기기 간의 자원 스케줄링 및 협업을 어떻게 최적화하여 높은 성능과 낮은 지연 시간을 유지할 수 있는가?
• RQ4 실시간 IoT 응용 프로그램에서 딥러닝 및 온라인 학습을 구현할 때의 주요 성능 메트릭스와 트레이드오프는 무엇인가?
• RQ5 퍼스티브 컴퓨팅 환경에서 분산 AI의 확장성과 보안을 고려할 때 남아 있는 주요 연구 과제는 무엇인가?

주요 결과

• 모델 양자화 및 기울기 희소화와 같은 통신 효율적인 기법은 모델 정확도를 손상시키지 않으면서도 분산 학습에서 데이터 전송을 크게 줄인다.
• 엣지 및 IoT 기기 간의 협업 추론은 종단 간 지연 시간을 감소시키고 자원 제약이 있는 기기들의 계산 부담을 완화한다.
• 엣지와 클라우드 컴퓨팅을 조합한 하이브리드 아키텍처는 중앙집중형 클라우드 전용 접근 방식보다 더 나은 확장성과 반응성을 제공한다.
• 온라인 학습 방법은 실시간 데이터 스트림에 따라 진화하는 적응형 AI 모델을 가능하게 하여 스마트 차량 및 감시와 같은 동적 IoT 응용 분야에서 핵심적이다.
• 동적 작업 오프로딩 및 엣지 캐싱과 같은 시스템 수준 최적화는 대규모 구현에서 에너지 효율성을 향상시키고 네트워크 혼잡도를 감소시킨다.
• 퍼스티브 컴퓨팅과 AI의 통합은 헬스케어, 로봇공학, 스마트 시티 등 다양한 분야에서 변혁적인 응용을 가능하게 하지만, 보안 및 공정성 측면에서 추가 연구가 필요하다.