[論文レビュー] Intermittent Inference with Nonuniformly Compressed Multi-Exit Neural Network for Energy Harvesting Powered Devices

Yawen Wu, Zhepeng Wang+3 more|arXiv (Cornell University)|Apr 23, 2020

Energy Harvesting in Wireless Networks参考文献 25被引用数 7

ひとこと要約

本論文は、エネルギー収集型マイコンコントローラ（MCU）にマルチエグジットニューラルネットワークをデプロイするための、パワー・トレースに配慮したエグジットガイド付きの圧縮およびランタイム適応フレームワークを提案する。全エグジットにおけるプルーニングと量子化を統合的に最適化し、軽量なQラーニングを用いて動的エグジット選択を行うことで、最先端のベースラインと比較して平均精度が10.2%向上し、遅延が23.2倍低減された。

ABSTRACT

This work aims to enable persistent, event-driven sensing and decision capabilities for energy-harvesting (EH)-powered devices by deploying lightweight DNNs onto EH-powered devices. However, harvested energy is usually weak and unpredictable and even lightweight DNNs take multiple power cycles to finish one inference. To eliminate the indefinite long wait to accumulate energy for one inference and to optimize the accuracy, we developed a power trace-aware and exit-guided network compression algorithm to compress and deploy multi-exit neural networks to EH-powered microcontrollers (MCUs) and select exits during execution according to available energy. The experimental results show superior accuracy and latency compared with state-of-the-art techniques.

研究の動機と目的

• 制限されたストレージと途切れびらの電力供給がある状況下でも、持続的でイベント駆動型の推論を可能にする。
• 従来の圧縮手法が最終層のパフォーマンスのみ最適化するため、早期エグジットでの精度が低くなるという課題に対処する。
• 予測不能で変動しやすいエネルギー収集環境下で、エネルギーの可用性とエグジット固有の精度・コストを統合的に考慮し、長期的な平均推論精度を最大化する。
• リアルタイムのエネルギー状態と入力の難易度に基づいて、最適なエグジット選択を学習するランタイム適応メカニズムを開発する。

提案手法

• 全エグジットにわたるプルーニングと量子化を統合的に最適化する、パワー・トレースに配慮したエグジットガイド付きのネットワーク圧縮アルゴリズムを設計する。
• FLOPsとモデルサイズを制約として、圧縮されたマルチエグジットネットワークをMCUメモリ（例：64KB Flash）に収める。
• 即時の精度と将来のエネルギー可用性の両方をバランスさせる、軽量なQラーニングに基づくランタイムエグジット選択戦略を導入する。
• 各エグジットでの信頼性エントロピーを用いて入力の難易度を推定し、より高い精度を得るためにより深いエグジットに進むかどうかを決定する。
• 静的エグジット選択のベースラインとしてルックアップテーブル（LUT）を用い、学習済みのQテーブルポリシーと比較する。
• 実世界の太陽光パワートレースとイベント分布を用いて評価し、現実的なエネルギー収集環境をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 制限されたメモリを有するエネルギー収集型MCUに収まるように、マルチエグジットニューラルネットワークをどのように圧縮すれば、全エグジットで高い精度を維持できるか？
• RQ2 変動しやすいエネルギーの可用性下で、長期的な平均推論精度を最大化する最適な圧縮戦略は何か？
• RQ3 エネルギーの可用性と入力の難易度に基づく動的ランタイムエグジット選択は、静的選択と比較して平均精度をどのように向上させるか？
• RQ4 軽量な強化学習（Qラーニング）は、変動するエネルギートレースとイベント分布にどの程度適応し、エグジット意思決定を最適化できるか？

主な発見

• 提案された圧縮手法は、実際の太陽光パワートレース下で静的ルックアップテーブル（LUT）ベースラインと比較して、平均推論精度を10.2%向上させた。
• ランタイムQラーニング適応により、エネルギーの節約とエグジット選択の最適化のおかげで、LUTと比較して処理可能なイベント数が11.2%増加した。
• 状態ごとの構成に応じて、最先端のベースラインと比較して平均1インフェレンスあたりの遅延を4.1倍から23.2倍まで低減した。
• 軽量なQラーニングポリシーは、計算オーバーヘッドをほとんど増やさずに高い精度向上を達成し、運用中にQテーブルを効率的に更新できた。
• パワー・トレースに配慮した圧縮により、エネルギー可用性に基づいて選択確率が高いエグジットが最適化段階で優先された。
• 本手法により、64KBのフラッシュのみを搭載するMCU上でも、持続的でイベント駆動型の推論が可能となり、バッテリーレスのエネルギー収集デバイスへのDNNのデプロイが現実可能になった。