[논문 리뷰] How to Manage Tiny Machine Learning at Scale: An Industrial Perspective

Haoyu Ren, Darko Anicic외 1명|arXiv (Cornell University)|2022. 02. 18.

IoT and Edge/Fog Computing인용 수 5

한 줄 요약

이 논문은 W3C 웹 오브 테이츠(Web of Things, WoT) 및 TinyML 전용 온톨로지(ontology)를 사용하여 산업 규모에서 소형 기계 학습 모델과 IoT 기기의 확장성 있고 상호운용 가능한 관리를 가능하게 하는 의미지능 지식 그래프 프레임워크를 제안한다. 신경망과 기기 기능을 통합된 기계독해 형식으로 모델링함으로써, SPARQL 쿼리와 저코드 인터페이스를 통해 자동으로 탐색, 매칭, 배포가 가능한 시스템을 구현하였으며, 23개의 모델과 6대의 기기에서 검증되었고 전체 코드는 오픈소스로 제공되었다.

ABSTRACT

Tiny machine learning (TinyML) has gained widespread popularity where machine learning (ML) is democratized on ubiquitous microcontrollers, processing sensor data everywhere in real-time. To manage TinyML in the industry, where mass deployment happens, we consider the hardware and software constraints, ranging from available onboard sensors and memory size to ML-model architectures and runtime platforms. However, Internet of Things (IoT) devices are typically tailored to specific tasks and are subject to heterogeneity and limited resources. Moreover, TinyML models have been developed with different structures and are often distributed without a clear understanding of their working principles, leading to a fragmented ecosystem. Considering these challenges, we propose a framework using Semantic Web technologies to enable the joint management of TinyML models and IoT devices at scale, from modeling information to discovering possible combinations and benchmarking, and eventually facilitate TinyML component exchange and reuse. We present an ontology (semantic schema) for neural network models aligned with the World Wide Web Consortium (W3C) Thing Description, which semantically describes IoT devices. Furthermore, a Knowledge Graph of 23 publicly available ML models and six IoT devices were used to demonstrate our concept in three case studies, and we shared the code and examples to enhance reproducibility: https://github.com/Haoyu-R/How-to-Manage-TinyML-at-Scale

연구 동기 및 목표

• 이질적인 기기와 표준화되지 않은 모델 배포 방식으로 인한 TinyML 생태계의 분열과 상호운용성 부족 문제를 해결하기 위해.
• 의미 모델링과 지식 그래프를 통해 산업 규모의 TinyML 모델과 IoT 기기의 탐색 및 재사용을 가능하게 하기 위해.
• 다양한 임베디드 시스템과 머신러닝 아키텍처 간에 자동화되고 제조사에 종속되지 않는 TinyML 컴포넌트 관리를 가능하게 하기 위해.
• 의미 기반 관리 기능을 저코드 플랫폼에 통합하여 비전문가 개발자들의 접근성과 산업적 도입을 가속화하기 위해.
• 실세계 구현에서 확장 가능하고 표준화된 프레임워크를 제공하여 확장 가능한 TinyML 시스템 오케스트레이션을 가능하게 하기 위해.

제안 방법

• W3C Thing Description(TD) 온톨로지와 통합된 도메인 전용 온톨로지(ontology)를 설계하여 신경망 아키텍처, 하드웨어 요구사항, 메타데이터를 의미적으로 기술한다.
• RDF 트리플을 사용하여 그래프 데이터베이스에 23개의 공개된 TinyML 모델과 6대의 IoT 기기의 의미적 기술을 저장하는 지식 그래프(KG)를 구축한다.
• 센서 가용성, 메모리, 계산 능력 등의 제약 조건을 기반으로, 유연하고 의미 기반의 호환성 있는 모델-기기 쌍 탐색을 위한 SPARQL 쿼리를 사용한다.
• 사용자 요구사항을 SPARQL 쿼리로 변환하는 저코드 플랫폼 인터페이스를 구현하여 블루투스 또는 기타 프로토콜을 통해 단일 클릭으로 타겟 기기로 모델을 배포할 수 있도록 한다.
• TensorFlow Lite for Microcontrollers로 훈련된 .tflite 모델에서 자동으로 의미적 표현을 생성하는 오픈소스 툴체인을 제공한다.
• 미래의 TinyML-as-a-Service 및 기타 임베디드 추론 런타임과의 통합을 지원하기 위해 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 이질적인 TinyML 모델과 IoT 기기를 하나의 지식 모델에 통합하여 의미적으로 기술하고 관리할 수 있는가?
• RQ2 TinyML 모델과 IoT 기기 간의 의미 기반 매칭을 자동화하여 수동 설정 및 탐색 시간을 줄일 수 있는가?
• RQ3 생성된 지식 그래프가 산업용 IoT 구현에서 효율적이고 재사용 가능하며 상호운용 가능한 컴포넌트 탐색을 어떻게 가능하게 하는가?
• RQ4 의미 기반 관리 기능을 저코드 인터페이스로 추상화하여 비전문가 개발자의 도입을 가속화할 수 있는가?
• RQ5 실세계의 TinyML 시스템을 대규모로 관리하는 데에 의미 웹 기술을 사용할 때 실질적인 이점과 한계는 무엇인가?

주요 결과

• 제안된 TinyML 모델 온톨로지는 표준화되고 W3C 준수 형식으로 신경망 아키텍처, 하드웨어 제약 조건, 메타데이터를 의미적으로 기술하는 데 성공했다.
• 23개의 공개된 TinyML 모델과 6대의 IoT 기기를 포함한 지식 그래프는 SPARQL 쿼리를 사용하여 정확하고 자동으로 호환성 있는 모델-기기 쌍을 탐색하는 데 성공했다.
• 세 가지 실세계 사례 연구에서 프레임워크의 실현 가능성을 입증하였으며, 센서 가용성, 메모리, 계산 용량 기반으로 모델과 기기를 효과적으로 매칭하는 데 성공했다.
• 저코드 플랫폼과의 통합으로 비전문가 사용자가 최소한의 기술적 노력으로 모델을 탐색하고 배포할 수 있었으며, 배포의 장벽을 크게 감소시켰다.
• 오픈소스 코드베이스와 의미 기반 툴체인 덕분에 재현 가능성이 보장되고, 향후 다른 TinyML 프레임워크와 런타임 플랫폼으로의 확장도 가능해졌다.
• 이 접근법은 제조사에 종속되지 않고 확장 가능하며, 해석 가능한 방식으로 TinyML 컴포넌트를 관리할 수 있어 산업용 IoT 생태계의 핵심 과제를 해결한다.