[논문 리뷰] Training Machine Learning models at the Edge: A Survey

Aymen Rayane Khouas, Mohamed Reda Bouadjenek외 2명|arXiv (Cornell University)|2024. 03. 05.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 설문조사는 엣지에서의 머신러닝 모델 학습(edge learning)을 분석하고, 분산 및 디바이스 내 접근법을 비교하며, 기법, 지표, 프레임워크 및 향후 방향을 제시합니다.

ABSTRACT

Edge computing has gained significant traction in recent years, promising enhanced efficiency by integrating artificial intelligence capabilities at the edge. While the focus has primarily been on the deployment and inference of Machine Learning (ML) models at the edge, the training aspect remains less explored. This survey, explores the concept of edge learning, specifically the optimization of ML model training at the edge. The objective is to comprehensively explore diverse approaches and methodologies in edge learning, synthesize existing knowledge, identify challenges, and highlight future trends. Utilizing Scopus and Web of science advanced search, relevant literature on edge learning was identified, revealing a concentration of research efforts in distributed learning methods, particularly federated learning. This survey further provides a guideline for comparing techniques used to optimize ML for edge learning, along with an exploration of the different frameworks, libraries, and simulation tools available. In doing so, the paper contributes to a holistic understanding of the current landscape and future directions in the intersection of edge computing and machine learning, paving the way for informed comparisons between optimization methods and techniques designed for training on the edge.

연구 동기 및 목표

• 엣지 학습과 엣지 디바이스를 정의하고 이 설문조사를 기존 연구들 가운데 위치시키기.
• 엣지에서 ML 모델을 학습하기 위한 요구사항과 지표를 식별하기.
• 엣지 학습을 가능하게 하고 최적화하며 가속화하는 기법들을 조사하고 비교하기.
• 다른 ML 유형(비지도 학습, 강화학습 등)이 엣지 학습과 어떻게 통합되는지 탐구하기.
• 엣지 학습에 사용되는 도구, 프레임워크, 라이브러리, 시뮬레이터를 검토하기.
• 엣지 학습의 활용 사례와 엣지 학습의 향후 연구 방향을 강조하기.

제안 방법

• 엣지 학습 기법을 네 가지 범주로 분류하기: 분산/협업, 적응적 미세조정, 모델 압축, 기타 최적화.
• 연합 학습(FL)과 분할 학습(SL)의 변형과 도전과제를 상세히 설명하기.
• 엣지 설정에서 전이학습, 점진적 학습, 메타학습을 설명하기.
• 지식 증류, 양자화, 가지치기와 같은 엣지 학습을 위한 모델 압축 기법을 논의하기.
• 계산량, 메모리, 대역폭, 에너지 고려사항을 포함한 EL의 요구사항/지표를 제시하기.
• 엣지 학습을 가능하게 하는 프레임워크, 라이브러리, 시뮬레이션 도구를 요약하기.

실험 결과

연구 질문

• RQ1 엣지에서 ML 모델을 학습하는 주된 기법들과 그 트레이드오프는 무엇인가?
• RQ2 효과적인 엣지 학습을 가장 잘 특징짓는 지표와 요구사항은 무엇인가?
• RQ3 분산 학습과 디바이스 내 학습 방법은 엣지 학습에 대해 어떻게 비교되는가?
• RQ4 전이 학습, 점진적 학습, 메타 학습은 엣지 환경에서 어떻게 활용될 수 있는가?
• RQ5 엣지 학습을 지원하는 도구와 프레임워크는 무엇이며 실제로 어떻게 활용되는가?

주요 결과

• 엣지 학습은 자원 제약과 데이터 프라이버시를 다루기 위해 분산 및 디바이스 내 접근에 의존한다.
• 연합 학습과 분할 학습은 비 IID 데이터와 통신 비용에 대응하는 변형을 가진 핵심 분산 기법이다.
• 전이 학습, 점진적 학습, 메타학습과 같은 적응적 기법은 데이터 및 계산을 줄여 디바이스 내 학습을 가능하게 한다.
• 지식 증류와 양자화 같은 모듈 압축 기법은 엣지 디바이스에서의 학습을 용이하게 한다.
• 엣지 학습과 평가를 지원하는 광범위한 프레임워크, 라이브러리, 시뮬레이션 도구가 존재한다.
• 이 설문은 오픈 챌린지들을 제시하고 ML과 결합된 엣지 컴퓨팅의 향후 트렌드를 예측한다.