[논문 리뷰] Zygarde: Time-Sensitive On-Device Deep Intelligence on Intermittently-Powered Systems.

Bashima Islam, Yubo Luo외 1명|arXiv (Cornell University)|2019. 05. 05.

Energy Harvesting in Wireless Networks참고 문헌 79인용 수 9

한 줄 요약

이 논문은 압축된 딥 뉴럴 네트워크를 실행하는 간헐적으로 전원이 공급되는 마이크로컨트롤러 유닛(MCU)을 위한 시간, 에너지, 정확도를 고려한 스케줄링 알고리즘인 Zygarde를 제안한다. 비정확 계산, 추론 작업의 조기 종료, 그리고 작업의 비정확성 정도를 결정하기 위한 준지도 학습 모델을 활용하여 Zygarde는 기준 방법 대비 정확도를 3.19%~9.45% 향상시키고, 실행 시간을 14% 감소시키며, 12%~33% 더 많은 작업을 스케줄링한다.

ABSTRACT

In this paper, we propose a time-, energy-, and accuracy-aware scheduling algorithm for intermittently powered systems that execute compressed deep learning tasks that are suitable for MCUs and are powered solely by harvested energy. The sporadic nature of harvested energy, resource constraints of the embedded platform, and the computational demand of deep neural networks (even though compressed) pose a unique and challenging real-time scheduling problem for which no solutions have been proposed in the literature. We empirically study the problem and model the energy harvesting pattern as well as the trade-off between the accuracy and execution of a deep neural network. We develop an imprecise computing-based scheduling algorithm that improves the schedulability of deep learning tasks on intermittently powered systems. We also utilize the dependency of the computational need of data samples for deep learning models and propose early termination of deep neural networks. We further propose a semi-supervised machine learning model that exploits the deep features and contributes in determining the imprecise partition of a task. We implement our proposed algorithms on two different datasets and real-life scenarios and show that it increases the accuracy by 9.45% - 3.19%, decreases the execution time by 14\% and successfully schedules 33%-12% more tasks.

연구 동기 및 목표

• 제한된 에너지 및 계산 자원을 가진 간헐적으로 전원이 공급되는 임베디드 시스템에서 압축된 딥 러닝 워크로드를 스케줄링하는 문제를 해결하기 위해.
• 실시간이고 빈번하게 발생하는 에너지 수확 환경에서 에너지 가용성, 추론 정확도, 실행 시간 간의 상호 상충 관계를 실시간으로 모델링하기 위해.
• 시간 및 에너지를 고려한 스케줄링 프레임워크를 도입하여 MCU에서 딥 뉴럴 네트워크 추론의 스케줄 가능성과 정확도를 향상시키기 위해.

제안 방법

• 가용 에너지와 예측된 정확도 향상률에 따라 동적으로 딥 러닝 작업을 분할하는 비정확 계산 기반 스케줄링 알고리즘 설계.
• 입력 데이터 특징에 따라 계산 요구량이 달라지는 특성을 활용하여 딥 뉴럴 네트워크 추론의 조기 종료 도입.
• 모델에서 학습된 딥 특징을 기반으로 작업의 비정확 실행 파artition를 예측하기 위해 준지도 기계 학습 모델 활용.
• 에너지 수확 패턴을 모델링하고, 이를 압축된 신경망의 정확도 및 실행 시간과 연관지켜 스케줄링 결정을 안내.
• 실제 하드웨어에 알고리즘를 구현하고, 두 가지 다른 데이터셋과 실제 생활 환경의 에너지 수확 시나리오를 활용하여 성능를 검증.

실험 결과

연구 질문

• RQ1 예측할 수 없는 에너지 가용성을 가진 간헐적으로 전원이 공급되는 MCU에서 딥 러닝 추론을 어떻게 효과적으로 스케줄링할 수 있는가?
• RQ2 이러한 시스템에서 에너지 소비, 추론 정확도, 실행 시간 간의 최적의 트레이드오프는 무엇인가?
• RQ3 에너지 제약 조건 하에서 신경망 추론의 조기 종료는 스케줄 가능성과 정확도를 향상시킬 수 있는가?
• RQ4 준지도 학습을 활용하여 딥 러닝 작업의 비정확 실행 파artition를 어떻게 예측할 수 있는가?
• RQ5 시간 및 에너지를 고려한 스케줄링 알고리즘은 실제 에너지 수확 환경에서 작업 완료율과 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 에너지 제약 조건 하에서 기준 방법 대비 Zygarde는 추론 정확도를 3.19%~9.45% 향상시켰다.
• 지능적인 작업 분할과 조기 종료를 통해 제안된 알고리즘은 평균 실행 시간을 14% 감소시켰다.
• Zygarde는 기존 접근 방식보다 간헐적으로 전원이 공급되는 시스템에서 12%~33% 더 많은 딥 러닝 작업을 성공적으로 스케줄링했다.
• 준지도 학습 모델은 비정확 실행 최적 지점을 효과적으로 식별하여 전체 추론이 필요 없이도 정확도를 향상시켰다.
• 시스템은 두 가지 실제 데이터셋과 실제 에너지 수확 조건에서 뛰어난 성능를 보이며 실용적 적용 가능성을 입증했다.