[論文レビュー] tinyMAN: Lightweight Energy Manager using Reinforcement Learning for Energy Harvesting Wearable IoT Devices

Toygun Başaklar, Yiğit Tuncel+1 more|arXiv (Cornell University)|Feb 18, 2022

Energy Harvesting in Wireless Networks被引用数 7

ひとこと要約

tinyMAN は、エネルギー予測に依存せずに動作する、軽量で強化学習に基づくエネルギーマネージャーであり、エネルギー収集可能なウェアラブルIoTデバイスを対象としている。Proximal Policy Optimization (PPO) を用いて、収集されたエネルギーを動的に割り当てることでデバイスの有用性を最大化し、従来手法に比べて最大45%高い性能を達成するとともに、1回の推論あたり27.75 µJ未満のエネルギー消費と100 KB未満のメモリ使用量を実現した。

ABSTRACT

Advances in low-power electronics and machine learning techniques lead to many novel wearable IoT devices. These devices have limited battery capacity and computational power. Thus, energy harvesting from ambient sources is a promising solution to power these low-energy wearable devices. They need to manage the harvested energy optimally to achieve energy-neutral operation, which eliminates recharging requirements. Optimal energy management is a challenging task due to the dynamic nature of the harvested energy and the battery energy constraints of the target device. To address this challenge, we present a reinforcement learning-based energy management framework, tinyMAN, for resource-constrained wearable IoT devices. The framework maximizes the utilization of the target device under dynamic energy harvesting patterns and battery constraints. Moreover, tinyMAN does not rely on forecasts of the harvested energy which makes it a prediction-free approach. We deployed tinyMAN on a wearable device prototype using TensorFlow Lite for Micro thanks to its small memory footprint of less than 100 KB. Our evaluations show that tinyMAN achieves less than 2.36 ms and 27.75 $\\mu$J while maintaining up to 45% higher utility compared to prior approaches.

研究の動機と目的

• 限られたバッテリーキャパシティと変動するエネルギー収集を伴うリソース制約の厳しいウェアラブルIoTデバイスにおけるエネルギーマネジメントの課題に対処すること。
• エネルギー予測に依存せず、予測不可能な環境エネルギー源に対しても耐障害性を確保するエネルギー中立的運用を実現すること。
• バッテリー残量や収集エネルギーのパターンの変化に応じて、適応的かつリアルタイムにエネルギー割り当てを最適化し、デバイスの有用性を最大化すること。
• 最小限の実行時間、エネルギーオーバーヘッド、メモリ使用量を実現する低エンドマイコンへの実装可能なソリューションを設計すること。

提案手法

• 連続的アクション空間における最適なエネルギー割り当てポリシーを学習するために、深層強化学習アルゴリズムの Proximal Policy Optimization (PPO) を採用する。
• バッテリー残量と過去の収集エネルギーを状態入力とするマーカフ連鎖意思決定過程 (MDP) としてエネルギーマネジメント問題を定式化する。
• エネルギー消費に基づいてデバイスの有用性を反映する一般化された報酬関数を設計し、多様なアプリケーションへの互換性を確保する。
• アメリカ時間使用調査の実世界データと二重のエネルギー収集モダリティ（光と運動）を用いて、合成環境でエージェントを訓練する。
• メモリとエネルギーのオーバーヘッドを最小限に抑えるために、TensorFlow Lite for Micro (TFLM) を用いて、TI CC2652R マイコン上にトレーニング済みモデルをデプロイする。
• 異なるハードウェア制約に応じて、性能、メモリ使用量、エネルギー消費のバランスを取るために、モデルサイズと推論効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくエネルギーマネージャーは、エネルギー収集可能なウェアラブルIoTデバイスにおいて、従来の予測ベースまたはヒューリスティック手法に比べて、より高いデバイス有用性を達成できるか？
• RQ2 エネルギー予測に依存せずに、動的かつ予測不可能な収集パターンに適応できる軽量なRLエージェントは、どの程度効果的に動作できるか？
• RQ3 リソース制約の厳しいウェアラブルマイコン上で、モデルサイズの増加に伴い、RLエージェントのメモリ使用量とエネルギーオーバーヘッドはどのように変化するか？
• RQ4 トレーニング時に見なかったユーザー固有のエネルギー収集パターンやバッテリー状態に対しても、トレーニング済みエージェントは一般化できるか？

主な発見

• tinyMAN は、最先端の手法に比べて最大45%高いデバイス有用性を達成し、正規化された有用性が最適解の86%に達した。
• フレームワークは全テストシナリオにおいてエネルギー中立性を維持し、再充電なしで持続可能な運用を実現した。
• tinyMAN の推論エネルギー消費は、最小モデル（16ニューロン）で6.74 µJ、64ニューロンモデルで最大27.75 µJにまで低減された。
• 1回の推論の実行時間は2.36 ms未満であり、追加のドライバーやI/O部品を含んでも、メモリ使用量は100 KB未満であった。
• 16および32ニューロンの小型モデルバージョンでは、エネルギー消費とメモリ使用量がそれぞれ75%および50%削減され、正規化された有用性はわずか7%低下した。
• 多様なEH分布と初期バッテリー状態を用いたトレーニングのおかげで、エージェントは未観測のユーザー固有のパターンに対しても良好に一般化され、優れた適応性を示した。