[논문 리뷰] Intermittent Learning: On-Device Machine Learning on Intermittently Powered System

Seulki Lee, Bashima Islam외 2명|arXiv (Cornell University)|2019. 04. 21.

Energy Harvesting in Wireless Networks참고 문헌 84인용 수 12

한 줄 요약

이 논문은 예측할 수 없는 전력 가용성에도 불구하고 에너지 수확을 통해 동작하는 마이크로컨트롤러에서 온디바이스, 에너지 효율적인 온라인 기계학습을 가능하게 하는 간헐적 학습이라는 프레임워크를 소개한다. 에너지와 학습 잠재력에 기반해 학습 동작을 동적으로 스케줄링하고 훈련 예제를 지능적으로 선택함으로써, 최신의 간헐적 컴퓨팅 시스템에 비해 에너지 효율을 최대 100% 향상시키고 훈련에 필요한 예제 수를 최대 50% 감소시킨다.

ABSTRACT

This paper introduces intermittent learning - the goal of which is to enable energy harvested computing platforms capable of executing certain classes of machine learning tasks effectively and efficiently. We identify unique challenges to intermittent learning relating to the data and application semantics of machine learning tasks, and to address these challenges, we devise 1) an algorithm that determines a sequence of actions to achieve the desired learning objective under tight energy constraints, and 2) propose three heuristics that help an intermittent learner decide whether to learn or discard training examples at run-time which increases the energy efficiency of the system. We implement and evaluate three intermittent learning applications that learn the 1) air quality, 2) human presence, and 3) vibration using solar, RF, and kinetic energy harvesters, respectively. We demonstrate that the proposed framework improves the energy efficiency of a learner by up to 100% and cuts down the number of learning examples by up to 50% when compared to state-of-the-art intermittent computing systems that do not implement the proposed intermittent learning framework.

연구 동기 및 목표

• 수확된 에너지를 사용해 배터리가 없는, 간헐적으로 전원이 공급되는 임베디드 시스템에서 온디바이스, 종신 기계학습을 가능하게 한다.
• 에너지 제약이 극심한 환경에서 기계학습의 고유한 과제, 즉 데이터 의미론과 응용 수준의 동적 특성을 해결한다.
• 실시간 전력 가용성과 학습 목표에 기반해 학습 동작(예: 센싱, 학습, 추론)을 스케줄링하는 동적 동작 계획기를 개발한다.
• 학습 성능을 훼손하지 않으면서 에너지 효율을 향상시키기 위해 런타임 히우리즘을 설계하여 훈련 예제를 학습할지 또는 기각할지 결정한다.
• 태양광, 전파, 기계적 에너지 수확 장치를 사용한 세 가지 실제 응용 분야에서 프레임워크를 구현한다: 대기 질 모니터링, 인간 존재 감지, 진동 분류

제안 방법

• 엄격한 에너지 제약 하에서 학습 성능을 최대화하기 위해 최적의 학습 동작(예: 센싱, 학습, 추론) 순서를 결정하는 동적 동작 계획기를 제안한다.
• 모델 정확도 향상 잠재력과 현재 에너지 수준을 기반으로 훈련 예제를 학습할지 기각할지 평가하기 위한 세 가지 런타임 히우리즘을 도입한다.
• 각 동작가 에너지 소비량이 명확히 정의되고 모델 업데이트 또는 추론에 기여하는 에너지 제약이 있는 동작의 연속으로 학습 과정을 모델링한다.
• 간헐적 실행 환경에서 온디바이스 온라인 학습을 지원하기 위한 프로그래밍 모델과 개발 도구를 구현한다.
• 기존의 시간 영역 예측 방식 대신 에너지 이벤트 기반 분석을 사용하여 예측할 수 없는 전력 가용성에 더 잘 대응할 수 있도록 한다.
• 태양광, 전파, 기계적 에너지 수확 장치를 사용한 실제 하드웨어 플랫폼에서 공개된 프레임워크를 평가하며, 대기 질, 인간 존재 감지, 진동 학습 시스템의 종단 간 전개를 수행한다.

실험 결과

연구 질문

• RQ1 배터리가 없는 전원이 간헐적인 임베디드 시스템에서 기계학습을 어떻게 효과적으로 실행할 수 있는가?
• RQ2 엄격한 에너지 제약 하에서 학습 성능을 최대화하는 데 가장 효과적인 동적 동작 스케줄링 전략은 무엇인가?
• RQ3 런타임에 훈련 예제를 어떻게 지능적으로 선택하여 학습 유용성과 에너지 비용을 균형 있게 유지할 수 있는가?
• RQ4 기존의 간헐적 컴퓨팅 시스템에 비해 제안된 프레임워크가 에너지 효율을 얼마나 향상시키고 필요한 훈련 예제 수를 얼마나 줄일 수 있는가?
• RQ5 이 프레임워크는 다양한 센싱 환경에서 실제 온디바이스, 온라인 기계학습 응용을 지원할 수 있는가?

주요 결과

• 제안된 간헐적 학습 프레임워크는 프레임워크가 없는 최신 간헐적 컴퓨팅 시스템 대비 에너지 효율을 최대 100% 향상시킨다.
• 높은 영향력을 가진 데이터를 우선순위로 삼는 지능적인 예제 선택 히우리즘을 통해 필요한 훈련 예제 수를 최대 50% 감소시킨다.
• 동적 동작 계획기는 실시간 전력 가용성과 학습 목표에 기반해 학습 동작(예: 센싱, 학습, 추론)을 성공적으로 스케줄링하여 지속적인 모델 적응을 가능하게 한다.
• 프레임워크는 세 가지 실제 응용 분야에서 종단 간 온디바이스 학습을 가능하게 한다: 대기 질 모니터링(태양광), 인간 존재 감지(전파), 진동 분류(기계적 에너지), 모두 온라인 훈련 및 추론 기능을 포함한다.
• 특히 동적 환경에서 예측할 수 없는 전력 가용성에 대응하는 데 있어 에너지 이벤트 기반 분석이 기존의 시간 영역 예측 방법보다 뛰어난 성능을 보였다.
• 이 시스템은 배터리가 없는 플랫폼에서 진정으로 종신 학습 경험을 실현하여 자율적이고 프라이버시를 보호하며 적응 가능한 지능을 자원 제약 환경에서 가능하게 한다.