[논문 리뷰] Reliable Fleet Analytics for Edge IoT Solutions

Emmanuel Raj, Magnus Westerlund외 1명|arXiv (Cornell University)|2021. 01. 12.

IoT and Edge/Fog Computing참고 문헌 12인용 수 5

한 줄 요약

이 논문은 AIoT 시스템에서 플릿 분석을 위한 확장 가능하고 신뢰할 수 있는 엣지 MLOps 프레임워크를 제안하며, 엣지 디바이스에서 기계학습 모델의 지속적 배포, 모니터링 및 재학습을 가능하게 한다. 이 프레임워크는 종단 간 추적 가능성과 실시간 성능 모니터링을 보장하며, 실험 기간 동안 장애 없이 세 대의 엣지 디바이스에서 다변량 대기 질 예측에 성공적으로 검증되었다.

ABSTRACT

In recent years we have witnessed a boom in Internet of Things (IoT) device deployments, which has resulted in big data and demand for low-latency communication. This shift in the demand for infrastructure is also enabling real-time decision making using artificial intelligence for IoT applications. Artificial Intelligence of Things (AIoT) is the combination of Artificial Intelligence (AI) technologies and the IoT infrastructure to provide robust and efficient operations and decision making. Edge computing is emerging to enable AIoT applications. Edge computing enables generating insights and making decisions at or near the data source, reducing the amount of data sent to the cloud or a central repository. In this paper, we propose a framework for facilitating machine learning at the edge for AIoT applications, to enable continuous delivery, deployment, and monitoring of machine learning models at the edge (Edge MLOps). The contribution is an architecture that includes services, tools, and methods for delivering fleet analytics at scale. We present a preliminary validation of the framework by performing experiments with IoT devices on a university campus's rooms. For the machine learning experiments, we forecast multivariate time series for predicting air quality in the respective rooms by using the models deployed in respective edge devices. By these experiments, we validate the proposed fleet analytics framework for efficiency and robustness.

연구 동기 및 목표

• 실시간 AIoT 응용 프로그램에서 분산된 IoT 엣지 디바이스 간 기계학습 모델의 확장성과 유지보수 과제를 해결하기 위해.
• 통합되고 감사 가능한 프레임워크를 통해 엣지에서 기계학습 모델의 지속적 배달, 배포 및 모니터링을 가능하게 하기 위해.
• 모델 이격 감지 및 자동 재학습을 통합하여 엣지 기반 분석의 신뢰성, 추적 가능성 및 준수성을 확보하기 위해.
• 대학 캠퍼스 엣지 디바이스에서 실세계의 다변량 시계열 예측을 통해 프레임워크의 견고성을 검증하기 위해.
• 분산형, 엣지 네이티브 분석을 통해 지속 가능하고 저지연성이며 프라이버시를 보호하는 AIoT 운영을 지원하기 위해.

제안 방법

• 엔드 투 엔드 플릿 분석을 위한 서비스, 도구 및 방법을 통합한 모듈식 아키텍처를 설계한다.
• 성능 기준치에 기반해 모델 훈련, 엣지 배포 및 재학습을 자동화하는 지속적 배포 파이프라인을 활용한다.
• 생산 환경에서 모델 교체 및 재학습을 트리거하기 위해 정의된 RMSE 기준치(10)를 사용한 통계적 감시를 수행한다.
• 세 대의 엣지 디바이스인 Google TPU edge, Jetson Nano 2, Raspberry Pi 4에 각각 선형 회귀(MLR), 랜덤 포레스트 회귀기(RFR), 서포트 벡터 회귀(SVR), 초신속 학습 기계(ELM)의 네 가지 다른 기계학습 모델을 구현한다.
• 센서 데이터(가속도계, 자이로스코프, 습도, 자석계, 기압, 온도)를 기반으로 텔레메트리 기반 장치 상태 모니터링을 구현하여 시스템 전체의 신뢰성을 확보한다.
• 모델 훈련, 배포 및 추론 전 과정에 대한 종단 간 추적 가능성과 감사 가능성을 확보하여 재현성 및 규정 준수를 지원한다.

실험 결과

연구 질문

• RQ1 실시간으로 다양한 엣지 디바이스로 구성된 플릿에서 기계학습 모델을 안정적이고 지속적으로 배포, 모니터링 및 재학습할 수 있는 방법은 무엇인가?
• RQ2 엣지 기반 AIoT 분석에서 추적 가능성, 감사 가능성 및 준수성을 확보하기 위해 필요한 아키텍처 및 운영 구성 요소는 무엇인가?
• RQ3 통합된 플릿 분석 프레임워크는 계산 능력이 상이한 다양한 엣지 하드웨어 간에도 모델 성능과 시스템 안정성을 유지할 수 있는가?
• RQ4 성능 기준치에 기반한 자동 재학습이 실세계의 엣지 배포 환경에서 모델 정확도와 시스템 반응성 향상에 어느 정도 기여하는가?
• RQ5 실세계 환경에서 이 프레임워크는 저지연성, 프라이버시 보호 및 확장 가능한 AIoT 응용 프로그램을 지원하는 데 얼마나 효과적인가?

주요 결과

• 제안된 엣지 MLOps 프레임워크는 실험 기간 동안 세 대의 다른 엣지 디바이스에서 네 가지 기계학습 모델의 지속적 배포 및 모니터링을 성공적으로 구현했으며, 장애 없이 운영되었다.
• 모든 모델가 종단 간 추적 가능하고 감사 가능했으며, 재현성 및 데이터 보호 규정 준수를 지원하는 완전한 기록 관리 체계를 구비하고 있었다.
• 실험 전반에 걸쳐 시스템은 안정된 성능을 유지했으며, 장치 장애나 데이터 수집 또는 분석 중단이 발생하지 않았다.
• 모델 성능은 정의된 RMSE 기준치 10을 사용해 모니터링되었으며, 이 기준치를 초과할 경우 자동으로 재학습 및 모델 교체가 성공적으로 트리거되었다.
• 프레임워크는 실세계의 다변량 시계열 예측을 통한 실시간 실내 대기 질 예측에서 뛰어난 견고성을 입증했으며, 다양한 엣지 하드웨어에서 일관된 추론 및 훈련 성능을 달성했다.
• 검증을 통해 프레임워크는 특히 프라이버시에 민감하고 저지연성 요구 사항이 높은 환경에서 대규모 엣지 AIoT 배포에 대한 확장성과 신뢰성을 입증했다.