[논문 리뷰] On-Device Machine Learning: An Algorithms and Learning Theory Perspective

Sauptik Dhar, Junyao Guo외 4명|arXiv (Cornell University)|2019. 11. 02.

Data Stream Mining Techniques참고 문헌 205인용 수 45

한 줄 요약

이 논문은 리소스 제약 학습으로 프레이밍하여 디바이스 내 학습(on-device learning)을 조사하고, 두 가지 주요 자원인 컴퓨트와 메모리에 대해 에지 디바이스의 알고리즘 및 학습 이론을 논의하며 도전과제와 향후 방향을 다룬다.

ABSTRACT

The predominant paradigm for using machine learning models on a device is to train a model in the cloud and perform inference using the trained model on the device. However, with increasing number of smart devices and improved hardware, there is interest in performing model training on the device. Given this surge in interest, a comprehensive survey of the field from a device-agnostic perspective sets the stage for both understanding the state-of-the-art and for identifying open challenges and future avenues of research. However, on-device learning is an expansive field with connections to a large number of related topics in AI and machine learning (including online learning, model adaptation, one/few-shot learning, etc.). Hence, covering such a large number of topics in a single survey is impractical. This survey finds a middle ground by reformulating the problem of on-device learning as resource constrained learning where the resources are compute and memory. This reformulation allows tools, techniques, and algorithms from a wide variety of research areas to be compared equitably. In addition to summarizing the state-of-the-art, the survey also identifies a number of challenges and next steps for both the algorithmic and theoretical aspects of on-device learning.

연구 동기 및 목표

• 에지 디바이스를 정의하고, 클라우드 기반의 학습과 추론에 대한 대안으로 디바이스 내 학습의 필요성과 타당성을 제시한다.
• 디바이스 내 학습을 컴퓨트와 메모리를 중심으로 리소스 제약 학습으로 재정의한다.
• 제한된 자원을 가진 디바이스에서의 학습을 위한 알고리즘적 접근법과 이론적 고찰을 조사한다.
• 리소스 효율적인 디바이스 내 학습의 도전과제와 향후 연구 방향을 제시한다.

제안 방법

• 디바이스 내 학습을 컴퓨트와 메모리를 주요 자원으로 하는 리소스 제약 학습으로 재정의한다.
• 디바이스 내 학습을 위한 하드웨어, 라이브러리, 알고리즘, 이론 스택과 그 상호 작용을 고찰한다.
• 자원 발자국 특성화 및 실용적 프로파일링에 따라 알고리즘적 접근법을 분류한다.
• MACs/FLOPs, 메모리, 활성화 등 자원 지표 측면에서 전통적 모델과 딥러닝 모델을 논의한다.
• 특정 하드웨어에 의존하지 않고 장치를 가로질러 알고리즘을 비교하기 위한 프레임워크를 제시한다.

실험 결과

연구 질문

• RQ1 컴퓨트와 메모리 제약 하에서 디바이스 내 모델 학습을 효과적으로 달성하려면 어떻게 해야 하는가?
• RQ2 리소스 효율적인 디바이스 내 학습을 가능하게 하는 주요 알고리즘적 및 이론적 발전은 무엇인가?
• RQ3 자원 제약이 에지 디바이스용 학습 방법의 평가 및 선택에 어떤 영향을 미치는가?
• RQ4 리소스 효율적인 디바이스 내 학습의 남은 과제와 향후 방향은 무엇인가?

주요 결과

• 디바이스 내 학습은 컴퓨트와 메모리를 핵심 자원으로 사용하는 리소스 제약 학습으로 유의하게 연구될 수 있다.
• 하드웨어 인식 지표(MACs/FLOPs, 가중치, 활성화)들이 전통적 ML 알고리즘과 함께 DNN의 자원 발자국을 평가하는 데 사용된다.
• 에지 하드웨어의 스펙트럼이 넓어 경량 모델과 신중한 프로파일링이 필요하다.
• 에지 디바이스에서의 추론과 고성능 플랫폼에서의 학습에 대한 현재 벤치마킹 노력이 존재하며, 더 깊은 디바이스 내 학습 프로파일링의 필요성을 시사한다.
• 본 논문은 리소스 제약 학습을 위한 이론적 프레임워크를 개괄하며, 자원 한계 하에서 성능 보장을 제공하는 새로운 이론과 도전과제를 포함한다.