[논문 리뷰] Orchestrating the Development Lifecycle of Machine Learning-Based IoT Applications: A Taxonomy and Survey

Bin Qian, Jie Su외 12명|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2019. 10. 11.

Data Stream Mining Techniques참고 문헌 402인용 수 13

한 줄 요약

이 논문은 기계학습 기반 IoT 애플리케이션의 엔드 투 엔드 개발 라이프사이클에 대한 종합적인 분류 체계와 종합적 검토를 제시하며, 사양, 훈련, 배포, 모니터링 단계에서의 오케스트레이션에 있어 핵심 과제를 규명한다. 구조화된 루트맵을 제안하고 데이터 확보, 모델 개발, 융합 전략 분야의 기법을 분류하며, 이질적인 IoT 환경에서의 기존 오케스트레이션 프레임워크의 격차를 부각시킨다.

ABSTRACT

Machine Learning (ML) and Internet of Things (IoT) are complementary advances: ML techniques unlock complete potentials of IoT with intelligence, and IoT applications increasingly feed data collected by sensors into ML models, thereby employing results to improve their business processes and services. Hence, orchestrating ML pipelines that encompasses model training and implication involved in holistic development lifecycle of an IoT application often leads to complex system integration. This paper provides a comprehensive and systematic survey on the development lifecycle of ML-based IoT application. We outline core roadmap and taxonomy, and subsequently assess and compare existing standard techniques used in individual stage.

연구 동기 및 목표

• 이질적인 환경에서 기계학습 기반 IoT 애플리케이션을 위한 통합된 오케스트레이션 프레임워크의 부족을 해결한다.
• 사양, 데이터 확보, 모델 훈련, 배포, 모니터링을 포함한 기계학습 기반 IoT 개발 라이프사이클의 핵심 단계를 식별하고 체계화한다.
• 각 단계에서 사용되는 기법을 분류하기 위한 새로운 분류 체계를 제공하여, 방법 간 비교 및 선택을 용이하게 한다.
• 신뢰성 있고 확장 가능한 IoT-ML 시스템을 위한 데이터 융합, 모델 최적화, 라이프사이클 모니터링 분야의 열린 연구 과제를 부각시킨다.
• 현재의 솔루션을 통합하고 오케스트레이션 분야의 격차, 특히 실시간 및 자원 제약이 있는 IoT 배포 환경에서의 격차를 식별함으로써 향후 연구를 이끌어낸다.

제안 방법

• 요구사항 사양, 인프라 및 데이터 파이프라인 설계, 모델 개발 및 훈련, 엣지/클라우드/IoT 디바이스에 걸친 배포, 런타임 모니터링 및 감사 단계를 포함한 5단계 개발 라이프사이클 루트맵을 제안한다.
• 세 가지 주요 구성 요소를 포함한 분류 체계를 도입한다: (1) 데이터 확보(데이터 소스, 프로토콜, 품질), (2) 모델 개발(알고리즘, 최적화), (3) 데이터 융합(확률적, 지식 기반, 증거 기반 방법).
• 데이터 융합 기법을 세 가지 범주로 분류한다: 확률적(예: 베이지안, 마르코프), 지식 기반(예: 지도/비지도 학습), 증거 기반(예: 덴프스터-샤이어 정리).
• 특히 자원 제약이 있는 IoT 디바이스에서의 확장성, 정확도, 계산 비용 측면에서 기법 간의 상충 관계를 분석한다.
• 실세계 스마트 시티 응용 사례(예: 교통 루팅, 자동차 내비게이션)를 활용하여 라이프사이클 단계와 시스템 통합 과제를 설명한다.
• 기존 오케스트레이션 도구(Juju, Puppet, Chef 등)에 대한 비판적 검토를 수행하여, IoT 이질성과 전체 기계학습 라이프사이클 지원 측면에서의 한계를 규명한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 IoT 애플리케이션의 엔드 투 엔드 개발 라이프사이클에서 핵심 단계와 구성 요소는 무엇인가?
• RQ2 기존 오케스트레이션 프레임워크는 이질적인 IoT 환경에서 기계학습 기반 IoT 시스템의 전체 라이프사이클을 지원하는 데 있어 어떤 점에서 부족한가?
• RQ3 IoT-ML 애플리케이션의 데이터 확보, 모델 훈련, 데이터 융합 분야에서 지배적인 기법과 상충 관계는 무엇인가?
• RQ4 데이터 재사용, 재조직화, 특징 진화는 스트리밍 IoT 데이터 환경에서 모델 성능 향상과 시스템 적응성 향상에 어떻게 기여하는가?
• RQ5 생산 환경에서 기계학습 기반 IoT 애플리케이션의 모니터링, 감사, 반복적 개선을 위한 열린 연구 과제는 무엇인가?

주요 결과

• Juju, Puppet, Chef와 같은 기존 오케스트레이션 프레임워크는 기계학습 기반 IoT 개발 라이프사이클 전반에 걸쳐 네이티브 지원이 부족하며, 특히 IoT 이질성 처리에 어려움을 겪는다.
• 확률적 데이터 융합 방법(예: 베이지안, 마르코프)은 널리 사용되지만, 스케일링 문제와 노이즈 또는 불확실한 데이터 처리에 어려움을 겪으며, 특히 고차원 또는 다중 모odal 입력에서는 더욱 심각하다.
• 지식 기반 데이터 융합 방법은 학습된 패턴을 활용해 정확도를 향상시키지만 더 많은 계산 자원이 필요하며, 저전력 IoT 디바이스에는 적합하지 않다.
• 덴프스터-샤이어 정리와 같은 증거 기반 방법은 '알 수 없음' 상태를 포함함으로써 불확실성을 더 잘 포착하지만, 증거의 양이 증가할수록 복잡도가 급격히 증가하여 엣지 환경에서는 사용이 제한된다.
• 데이터 재사용과 재조직화는 데이터 수집 비용을 크게 감소시키고, 특히 준지도 학습 또는 전이 학습 환경에서 모델의 일반화 능력을 향상시킨다.
• 스트리밍 데이터에서 특징의 동적 등장과 소멸을 고려하는 특징 진화는 장기적으로 모델 정확도를 유지하는 데 핵심적이며, 특히 실제 IoT 배포 환경에서 중요하다.