[논문 리뷰] OpenEI: An Open Framework for Edge Intelligence

Xingzhou Zhang, Yifan Wang외 4명|arXiv (Cornell University)|2019. 06. 05.

IoT and Edge/Fog Computing참고 문헌 66인용 수 13

한 줄 요약

이 논문은 자원 제약, 데이터 공유, 플랫폼-알고리즘 불일치 문제를 해결함으로써 엣지 디바이스에서 AI 워크로드를 네이티브로 실행할 수 있도록 하는 경량 오픈 프레임워크인 OpenEI를 제안한다. 최적화된 딥러닝 모델, 데이터 공유를 위한 RESTful API, 실시간으로 개인정보 보호 기능을 갖춘 다양한 응용 분야에서의 엣지 인텔리전스를 지원하는 모듈식 아키텍처를 통합한다.

ABSTRACT

In the last five years, edge computing has attracted tremendous attention from industry and academia due to its promise to reduce latency, save bandwidth, improve availability, and protect data privacy to keep data secure. At the same time, we have witnessed the proliferation of AI algorithms and models which accelerate the successful deployment of intelligence mainly in cloud services. These two trends, combined together, have created a new horizon: Edge Intelligence (EI). The development of EI requires much attention from both the computer systems research community and the AI community to meet these demands. However, existing computing techniques used in the cloud are not applicable to edge computing directly due to the diversity of computing sources and the distribution of data sources. We envision that there missing a framework that can be rapidly deployed on edge and enable edge AI capabilities. To address this challenge, in this paper we first present the definition and a systematic review of EI. Then, we introduce an Open Framework for Edge Intelligence (OpenEI), which is a lightweight software platform to equip edges with intelligent processing and data sharing capability. We analyze four fundamental EI techniques which are used to build OpenEI and identify several open problems based on potential research directions. Finally, four typical application scenarios enabled by OpenEI are presented.

연구 동기 및 목표

• 제한된 컴퓨팅 파워, 메모리, 대역폭로 인해 자원이 제한된 엣지 디바이스에 AI 모델을 구현하는 데 도전하는 문제를 해결한다.
• 이질적인 하드웨어와 데이터 소스를 가진 분산된 엣지 노드 간에 효율적인 데이터 공유와 협업을 가능하게 한다.
• 다양한 엣지 플랫폼과 다양한 AI 알고리즘 요구사항 간의 불일치를 극복하기 위해 이식 가능하고 모듈식 소프트웨어 스택을 제공한다.
• 프로토타ип링과 배포를 가속화하기 위한 표준화되고 확장 가능한 소프트웨처 프레임워크를 제공한다.
• 민감한 데이터를 엣지에서 유지하고 클라우드 의존도를 최소화함으로써 실시간으로 개인정보 보호 기능을 갖춘 AI 처리를 지원한다.

제안 방법

• OpenEI 내부에 경량 딥러닝 패키지 매니저를 설계하여 엣지 디바이스에 적합한 소형 모델(예: MobileNet, SqueezeNet)을 최적화하고 배포한다.
• libei를 구현하여 분산된 엣지 노드 간에 보안적이고 표준화된 데이터 공유 및 서비스 호출을 가능하게 하는 통일된 RESTful API 계층을 제공한다.
• 클라우드-엣지 협업 메커니즘을 통합하여 모델 업데이트와 중앙 집중식 조율를 허용하면서도 현지 추론 기능을 유지한다.
• 하드웨어 이질성을 추상화하는 모듈식이고 확장 가능한 소프트웨어 스택을 구축하여 다양한 엣지 플랫폼 간 이식성을 보장한다.
• 모델 압축 및 정밀도 손실이 크지 않은 상태에서 모델 크기와 계산 비용을 줄이기 위해 프레임워크 내에서 압축 및 양자화 기법을 지원한다.
• 동적 워크로드를 가진 엣지 디바이스에서 모델 로딩, 실행, 자원 할당을 관리하는 런타임 환경을 제공한다.

실험 결과

연구 질문

• RQ1 제한된 컴퓨팅 및 스토리지 자원을 가진 엣지 디바이스가 현대적인 딥러닝 모델을 효율적으로 실행할 수 있는 방법은 무엇인가?
• RQ2 분산된 엣지 노드 간에 보안적이고 확장 가능하며 상호운용 가능한 데이터 공유와 협업을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 다양한 엣지 플랫폼과 다양한 AI 알고리즘 요구사항 간의 불일치를 통일된 소프트웨어 프레임워크가 어떻게 완화할 수 있는가?
• RQ4 네트워크 엣지에서 실시간으로 개인정보 보호 기능을 갖춘 AI 추론을 구현하는 데 있어 핵심적인 시스템 수준의 과제는 무엇인가?
• RQ5 OpenEI는 스마트 홈, 헬스케어, 자율주행 차량과 같은 실제 응용 시나리오에서 엣지 인텔리전스의 종단 간 배포를 어떻게 지원할 수 있는가?

주요 결과

• OpenEI는 메모리 프로파일이 줄어들고 계산 비용이 낮아진 최적화된 딥러닝 모델(예: VGG-16, MobileNet)을 자원이 제한된 엣지 디바이스에 성공적으로 배포한다.
• libei API 계층은 이질적인 엣지 노드 간에 보안적이고 표준화된 데이터 공유 및 서비스 오케스트레이션을 촉진하여 분산 환경에서의 상호운용성을 향상시킨다.
• 클라우드-엣지 협업을 통해 OpenEI는 모델 업데이트와 중앙 집중식 학습을 허용하면서도 엣지에서 저지연, 실시간 추론을 유지한다.
• 프레임워크는 스마트 홈, 자율주행 차량, 다중 사용자 AR/VR 게임, 연결된 헬스케어의 네 가지 실제 시나리오에서의 실현 가능성을 입증하였으며, 지연 시간 감소와 개인정보 보호 향상을 보였다.
• OpenEI는 클라우드 기반 처리에 대한 의존도를 줄여 현장에서의 추론을 가능하게 함으로써 대역폭 사용을 감소시키고 데이터 프라이버시를 향상시킨다.
• 프레임워크는 모델 압축, 동적 자원 관리, 보안적 데이터 협업과 같은 엣지 AI 분야의 핵심 열린 문제를 식별하고 해결하며 향후 연구를 위한 기반을 마련한다.