[论文解读] Intermittent Learning: On-Device Machine Learning on Intermittently Powered System

Seulki Lee, Bashima Islam+2 more|arXiv (Cornell University)|Apr 21, 2019

Energy Harvesting in Wireless Networks参考文献 84被引用 12

一句话总结

本文提出间歇性学习——一种使无电池、能量采集型微控制器在电源供应不可预测的情况下仍能执行在线机器学习的框架。通过动态调度学习操作并基于能量和学习潜力智能选择训练样本，该系统相较最先进的间歇性计算系统，能量效率最高提升100%，所需训练样本减少最多50%。

ABSTRACT

This paper introduces intermittent learning - the goal of which is to enable energy harvested computing platforms capable of executing certain classes of machine learning tasks effectively and efficiently. We identify unique challenges to intermittent learning relating to the data and application semantics of machine learning tasks, and to address these challenges, we devise 1) an algorithm that determines a sequence of actions to achieve the desired learning objective under tight energy constraints, and 2) propose three heuristics that help an intermittent learner decide whether to learn or discard training examples at run-time which increases the energy efficiency of the system. We implement and evaluate three intermittent learning applications that learn the 1) air quality, 2) human presence, and 3) vibration using solar, RF, and kinetic energy harvesters, respectively. We demonstrate that the proposed framework improves the energy efficiency of a learner by up to 100% and cuts down the number of learning examples by up to 50% when compared to state-of-the-art intermittent computing systems that do not implement the proposed intermittent learning framework.

研究动机与目标

• 在无电池、间歇性供电的嵌入式系统上，利用采集的能量实现设备端、终身机器学习。
• 解决在极端能量约束下机器学习所面临的独特挑战，包括数据语义和应用级动态特性。
• 开发一种动态操作规划器，根据实时能量可用性和学习目标，调度学习操作（如感知、学习、推理）。
• 设计运行时启发式方法，决定是否学习或丢弃训练样本，从而在不牺牲模型性能的前提下提升能量效率。
• 在三个真实应用场景中展示该框架：基于太阳能、射频和动能能量采集器的空气质量监测、人员存在检测和振动分类。

提出的方法

• 提出一种动态操作规划器，用于在严格能量约束下确定最优学习操作序列（如感知、学习、推理），以最大化学习性能。
• 引入三种运行时启发式方法，根据样本提升模型准确率的潜力和当前能量水平，评估是否应学习或丢弃训练样本。
• 将学习过程建模为一系列能量受限的操作，每个操作消耗已知能量，并对模型更新或推理有所贡献。
• 实现一种编程模型和开发工具，以支持在间歇性执行环境中进行设备端在线学习。
• 采用基于能量事件的分析方法，而非传统的时域预测，从而更好地适应不可预测的能量供应。
• 在真实硬件平台（使用太阳能、射频和动能能量采集器）上评估该框架，并完成空气质量、人员存在检测和振动学习系统的端到端部署。

实验结果

研究问题

• RQ1 如何在无持续电源的间歇性供电嵌入式系统上有效执行机器学习？
• RQ2 何种动态操作调度策略可在严格能量约束下最大化学习性能？
• RQ3 如何在运行时智能选择训练样本，以平衡学习效用与能量成本？
• RQ4 与现有间歇性计算系统相比，所提框架在提升能量效率和减少所需训练样本数量方面能达到何种程度？
• RQ5 该框架能否在多样化传感环境中支持真实世界、设备端、在线学习应用？

主要发现

• 所提出的间歇性学习框架相较无该框架的最先进间歇性计算系统，能量效率最高提升100%。
• 通过智能样本选择启发式方法优先选择高影响力数据，系统将所需训练样本数量减少最多50%。
• 动态操作规划器成功根据实时能量可用性和学习目标调度学习操作（如感知、学习、推理），实现持续的模型自适应。
• 该框架在三个真实应用中实现了端到端设备端学习：基于太阳能的空气质量监测、基于射频的人员存在检测和基于动能的振动分类，所有系统均支持完整的在线训练与推理。
• 基于能量事件的分析优于传统时域预测方法，在处理不可预测能量供应方面表现更优，尤其在动态环境中。
• 该系统在无电池平台上实现了真正的终身学习体验，使资源受限环境中能够实现自主、隐私保护且自适应的智能。