[論文レビュー] Zygarde: Time-Sensitive On-Device Deep Intelligence on Intermittently-Powered Systems.

Bashima Islam, Yubo Luo+1 more|arXiv (Cornell University)|May 5, 2019

Energy Harvesting in Wireless Networks参考文献 79被引用数 9

ひとこと要約

本稿では、圧縮された深層ニューラルネットワークを実行する間歇的電源供給を受けているマイコン制御ユニット（MCUs）を対象に、時間、エネルギー、正確性を考慮したスケジューリングアルゴリズム「Zygarde」を提案する。不正確計算を活用し、推論タスクの早期終了と、タスクの不正確性を特定するための半教師ありモデルを導入することで、ベースライン手法と比較して正確性を3.19%〜9.45%向上させ、実行時間を14%削減し、スケジューリング可能なタスクを12%〜33%増加させた。

ABSTRACT

In this paper, we propose a time-, energy-, and accuracy-aware scheduling algorithm for intermittently powered systems that execute compressed deep learning tasks that are suitable for MCUs and are powered solely by harvested energy. The sporadic nature of harvested energy, resource constraints of the embedded platform, and the computational demand of deep neural networks (even though compressed) pose a unique and challenging real-time scheduling problem for which no solutions have been proposed in the literature. We empirically study the problem and model the energy harvesting pattern as well as the trade-off between the accuracy and execution of a deep neural network. We develop an imprecise computing-based scheduling algorithm that improves the schedulability of deep learning tasks on intermittently powered systems. We also utilize the dependency of the computational need of data samples for deep learning models and propose early termination of deep neural networks. We further propose a semi-supervised machine learning model that exploits the deep features and contributes in determining the imprecise partition of a task. We implement our proposed algorithms on two different datasets and real-life scenarios and show that it increases the accuracy by 9.45% - 3.19%, decreases the execution time by 14\% and successfully schedules 33%-12% more tasks.

研究の動機と目的

• 制限されたエネルギーおよび計算リソースを有する間歇的電源供給を受けている埋め込みシステムにおいて、圧縮されたディープラーニングワークロードを効果的にスケジューリングする課題に対処すること。
• 予測不可能なエネルギー収集環境下で、エネルギーの可用性、推論正確性、実行時間のトレードオフをリアルタイムでモデル化すること。
• 時間およびエネルギーに配慮したスケジューリングフレームワークを導入することで、MCU上でのディープニューラルネットワーク推論のスケジューラビリティと正確性を向上させること。

提案手法

• 利用可能なエネルギーと予測された正確性向上量に基づいて、動的にディープラーニングタスクを分割する不正確計算に基づくスケジューリングアルゴリズムの設計。
• 入力データの特徴に依存する計算要件の性質を活用して、ディープニューラルネットワーク推論の早期終了を実現すること。
• モデルから学習された深層特徴に基づいて、タスクの不正確実行部分を予測するための半教師あり機械学習モデルの活用。
• エネルギー収集パターンをモデル化し、圧縮されたニューラルネットワークの正確性および実行時間と関連付けることで、スケジューリング意思決定を支援すること。
• 実際のハードウェア上でアルゴリズムを実装し、2つの異なるデータセットと実際のエネルギー収集シナリオを用いて性能を検証すること。

実験結果

リサーチクエスチョン

• RQ1 予測不可能なエネルギー可用性を有する間歇的電源供給を受けているMCU上で、ディープラーニング推論をどのように効果的にスケジューリングできるか？
• RQ2 このようなシステムにおいて、エネルギー消費、推論正確性、実行時間の最適なトレードオフは何か？
• RQ3 エネルギー制約下で、ニューラルネットワーク推論の早期終了は、スケジューラビリティと正確性を向上させることができるか？
• RQ4 半教師あり学習を用いて、ディープラーニングタスクの不正確実行部分をどのように予測できるか？
• RQ5 時間およびエネルギーに配慮したスケジューリングアルゴリズムは、実世界のエネルギー収集環境において、タスク完了率と正確性をどの程度向上させることができるか？

主な発見

• Zygardeは、エネルギー制約下でベースライン手法と比較して、推論正確性を3.19%〜9.45%向上させた。
• 知的なタスク分割と早期終了により、提案されたアルゴリズムは平均実行時を14%削減した。
• Zygardeは、既存のアプローチと比較して、間歇的電源供給システム上でのディープラーニングタスクのスケジューリング数を12%〜33%増加させた。
• 半教師ありモデルは、完全な推論を必要とせずに、最適な不正確実行ポイントを効果的に特定した。
• 本システムは、2つの実際のデータセットおよび実際のエネルギー収集条件において、優れた性能を示し、実用的応用の妥当性を検証した。