[論文レビュー] Intermittent Learning: On-Device Machine Learning on Intermittently Powered System

Seulki Lee, Bashima Islam+2 more|arXiv (Cornell University)|Apr 21, 2019

Energy Harvesting in Wireless Networks参考文献 84被引用数 12

ひとこと要約

この論文では、予測不可能な電力供給があるにもかかわらず、オンデバイスでエネルギー収集を行うマイコン制御のマイコンがオンライン機械学習を実行できるようにする、間欠的学習というフレームワークを紹介している。エネルギーと学習の可能性に基づいて、学習行動を動的にスケジューリングし、トレーニング例を知的に選択することで、最先端の間欠的コンピューティングシステムと比較して、エネルギー効率を最大100%向上させ、必要なトレーニング例を最大50%削減できる。

ABSTRACT

This paper introduces intermittent learning - the goal of which is to enable energy harvested computing platforms capable of executing certain classes of machine learning tasks effectively and efficiently. We identify unique challenges to intermittent learning relating to the data and application semantics of machine learning tasks, and to address these challenges, we devise 1) an algorithm that determines a sequence of actions to achieve the desired learning objective under tight energy constraints, and 2) propose three heuristics that help an intermittent learner decide whether to learn or discard training examples at run-time which increases the energy efficiency of the system. We implement and evaluate three intermittent learning applications that learn the 1) air quality, 2) human presence, and 3) vibration using solar, RF, and kinetic energy harvesters, respectively. We demonstrate that the proposed framework improves the energy efficiency of a learner by up to 100% and cuts down the number of learning examples by up to 50% when compared to state-of-the-art intermittent computing systems that do not implement the proposed intermittent learning framework.

研究の動機と目的

• 蓄電池なしで、電力が途切れ途切れに供給される埋め込みシステムにおいて、エネルギー収集によって得た電力で継続的かつ長期間にわたる機械学習を実行すること。
• 極めて厳しいエネルギー制約下での機械学習における特有の課題、特にデータの意味的特性とアプリケーションレベルの動的要因に対処すること。
• リアルタイムでのエネルギー利用可能性と学習目的に基づいて、学習行動（例：センシング、学習、推論）をスケジューリングする動的アクションプランナを開発すること。
• エネルギー効率を向上させつつモデル性能を損なわずに、実行時におけるトレーニング例を学習するか破棄するかを判断するためのランタイムヒューリスティクスを設計すること。
• 太陽光、RF、および運動エネルギー収集器を用いた3つの実世界の応用分野でフレームワークを実証すること：大気質モニタリング、人的存在検出、振動分類。

提案手法

• 限られたエネルギー制約下で学習パフォーマンスを最大化する最適な学習行動（例：センシング、学習、推論）の順序を決定する動的アクションプランナを提案する。
• トレーニング例がモデルの正確性を向上させる潜在的価値と現在のエネルギー状態に基づいて、その例を学習するか破棄するかを評価するための3つのランタイムヒューリスティクスを導入する。
• 各アクションが明確なエネルギー消費量を有し、モデル更新または推論に貢献するという、エネルギー制約付きのアクションの連鎖として学習プロセスをモデル化する。
• 間欠的実行環境におけるオンデバイスでオンライン学習を可能にするためのプログラミングモデルと開発ツールを実装する。
• 従来の時間領域予測ではなく、エネルギーイベントベースの分析を採用することで、予測不可能なエネルギー供給に適応しやすくなる。
• 太陽光、RF、および運動エネルギー収集器を用いた実ハードウェアプラットフォーム上でフレームワークを評価し、大気質、人的存在、振動分類の学習システムをエンドツーエンドで実装する。

実験結果

リサーチクエスチョン

• RQ1 電源が途切れ途切れに供給される埋め込みシステムにおいて、どのようにして機械学習を効果的に行えるか？
• RQ2 厳しいエネルギー制約下で学習パフォーマンスを最大化するための動的アクションスケジューリング戦略は何か？
• RQ3 実行時におけるトレーニング例の選択をどのように知的に実施すれば、学習の有用性とエネルギーコストのバランスを取れるか？
• RQ4 提案されたフレームワークは、既存の間欠的コンピューティングシステムと比較して、エネルギー効率の向上と必要なトレーニング例の削減にどの程度寄与できるか？
• RQ5 このフレームワークは、多様なセンシング環境において、実世界のオンデバイスでオンライン学習を実現できるか？

主な発見

• 提案された間欠的学習フレームワークは、本フレームワークを備えていない最先端の間欠的コンピューティングシステムと比較して、最大100%のエネルギー効率向上を達成した。
• 高い影響を持つデータを優先する知的な例選択ヒューリスティクスにより、必要なトレーニング例の数を最大50%削減できた。
• 動的アクションプランナは、リアルタイムでのエネルギー利用可能性と学習目的に基づいて、学習行動（例：センシング、学習、推論）を効果的にスケジューリングし、継続的なモデルの適応を可能にした。
• フレームワークは、太陽光による大気質モニタリング（solar）、RFによる人的存在検出（RF）、運動エネルギーによる振動分類（kinetic energy）の3つの実応用分野において、エンドツーエンドのオンデバイス学習を実現した。すべてのシステムで完全なオンライン学習と推論が可能である。
• 特に動的な環境下において、予測不可能なエネルギー供給に対応する上で、エネルギーイベントベースの分析は、従来の時間領域予測手法を上回った。
• 本システムは、バッテリーレスプラットフォーム上で真の生涯にわたる学習体験を実現し、リソース制限のある環境において自律的で、プライバシーを守り、適応可能な知能を実現した。