[논문 리뷰] tinyMAN: Lightweight Energy Manager using Reinforcement Learning for Energy Harvesting Wearable IoT Devices

Toygun Başaklar, Yiğit Tuncel외 1명|arXiv (Cornell University)|2022. 02. 18.

Energy Harvesting in Wireless Networks인용 수 7

한 줄 요약

tinyMAN은 에너지 예측이 없는 에너지 수확 기반 웨어러블 IoT 장치를 위한 경량이며 강화학습 기반 에너지 관리자이다. Proximal Policy Optimization (PPO)를 사용하여 수확된 에너지를 동적으로 할당함으로써 장치의 유틸리티를 최대화하며, 이전 방법들보다 최대 45% 높은 성능을 달성하면서 인fer당 소비 에너지가 27.75 µJ 이하이고 메모리 사용량이 100 KB 미만이 된다.

ABSTRACT

Advances in low-power electronics and machine learning techniques lead to many novel wearable IoT devices. These devices have limited battery capacity and computational power. Thus, energy harvesting from ambient sources is a promising solution to power these low-energy wearable devices. They need to manage the harvested energy optimally to achieve energy-neutral operation, which eliminates recharging requirements. Optimal energy management is a challenging task due to the dynamic nature of the harvested energy and the battery energy constraints of the target device. To address this challenge, we present a reinforcement learning-based energy management framework, tinyMAN, for resource-constrained wearable IoT devices. The framework maximizes the utilization of the target device under dynamic energy harvesting patterns and battery constraints. Moreover, tinyMAN does not rely on forecasts of the harvested energy which makes it a prediction-free approach. We deployed tinyMAN on a wearable device prototype using TensorFlow Lite for Micro thanks to its small memory footprint of less than 100 KB. Our evaluations show that tinyMAN achieves less than 2.36 ms and 27.75 $\\mu$J while maintaining up to 45% higher utility compared to prior approaches.

연구 동기 및 목표

• 제한된 배터리 용량과 동적인 에너지 수확 능력을 가진 자원 제약이 있는 웨어러블 IoT 장치에서 에너지 관리의 과제를 해결한다.
• 에너지 예측에 의존하지 않고 에너지 중립적 운영을 가능하게 하여, 예측 불가능한 환경 에너지 원천에 대한 강건성을 확보한다.
• 다양한 배터리 수준과 수확된 에너지 패턴을 고려하여 실시간으로 적응하는 에너지 할당을 통해 장치 유틸리티를 최대화한다.
• 최소한의 실행 시간, 에너지 오버헤드, 메모리 사용량을 갖춘 저성능 마이크로컨트롤러에 구현 가능한 솔루션을 설계한다.

제안 방법

• 지속적인 행동 공간에서 최적의 에너지 할당 정책을 학습하기 위해 딥 강화학습 알고리즘인 Proximal Policy Optimization (PPO)를 사용한다.
• 배터리 수준과 과거 수확된 에너지를 상태 입력으로 사용하여 에너지 관리 문제를 마르코프 결정 과정(MDP)으로 공식화한다.
• 에너지 소비 기반의 장치 유틸리티를 반영하는 일반화된 보상 함수를 설계하여 다양한 응용 분야와의 호환성을 확보한다.
• 실제 미국 시간 사용 조사 데이터와 이중 에너지 수확 방식(빛과 운동)을 활용하여 실재 데이터 기반의 합성 환경에서 에이전트를 훈련시킨다.
• TensorFlow Lite for Micro(TFLM)를 사용하여 훈련된 모델을 TI CC2652R 마이크로컨트롤러에 배포하여 낮은 메모리 및 에너지 오버헤드를 확보한다.
• 모델 크기와 추론 효율성을 최적화하여 다양한 하드웨어 제약 조건에서 성능, 메모리 사용량, 에너지 소비 간의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 에너지 수확 웨어러블 IoT 장치에서 에너지 예측 기반 또는 히وري스틱 기반 접근 방식에 비해 강화학습 기반 에너지 관리자가 더 높은 장치 유틸리티를 달성할 수 있는가?
• RQ2 에너지 예측 없이도 경량 RL 에이전트가 동적인 예측 불가능한 수확 패턴에 효과적으로 대응할 수 있는가?
• RQ3 자원 제약이 있는 웨어러블 마이크로컨트롤러에서 모델 크기에 따라 RL 에이전트의 메모리 프로파일과 에너지 오버헤드는 어떻게 변화하는가?
• RQ4 훈련 중에 볼 수 없었던 사용자별 에너지 수확 패턴과 배터리 조건에 대해 훈련된 에이전트가 일반화될 수 있는가?

주요 결과

• tinyMAN은 최신 기술 대비 최대 45% 높은 장치 유틸리티를 달성하며, 정규화된 유틸리티가 최적 솔루션의 86%에 이를 정도로 높다.
• 모든 테스트 시나리오에서 에너지 중립성을 유지하여 재충전 없이 지속 가능한 운영을 보장한다.
• 가장 작은 모델(16 뉴런)의 경우 인fer 에너지 소비가 최소 6.74 µJ이며, 64-뉴런 모델의 경우 최대 27.75 µJ이다.
• 인fer당 실행 시간은 2.36 ms 이하이며, 메모리 프로파일은 추가 드라이버 및 I/O 구성 요소가 포함된 상태에서도 100 KB 이하이다.
• 작은 모델 버전(16 및 32 뉴런)은 에너지 소비와 메모리 사용량을 각각 75%, 50% 감소시키며, 정규화된 유틸리티는 오직 7% 감소할 뿐이다.
• 다양한 EH 분포와 배터리 초기 상태에서의 훈련 덕분에 사용자 패턴이 훈련 중에 나타나지 않은 경우에도 에이전트가 잘 일반화되어 강력한 적응력을 보인다.