[论文解读] Energy Efficiency in Reinforcement Learning for Wireless Sensor Networks

Michał Kozłowski, Ryan McConville+2 more|arXiv (Cornell University)|Nov 19, 2018

Smart Grid Energy Management参考文献 14被引用 12

一句话总结

本文提出了一种面向无线传感器网络室内定位的节能型强化学习框架，采用SARSA算法并利用辅助传感器提供的弱监督信号。通过间歇性激活高能耗传感器，并利用其标签持续改进低功耗模型，该方法在降低长期能耗的同时提升了定位精度，实现最高60%的传感器使用率降低和25%的性能提升，优于基线模型。

ABSTRACT

As sensor networks for health monitoring become more prevalent, so will the need to control their usage and consumption of energy. This paper presents a method which leverages the algorithm's performance and energy consumption. By utilising Reinforcement Learning (RL) techniques, we provide an adaptive framework, which continuously performs weak training in an energy-aware system. We motivate this using a realistic example of residential localisation based on Received Signal Strength (RSS). The method is cheap in terms of work-hours, calibration and energy usage. It achieves this by utilising other sensors available in the environment. These other sensors provide weak labels, which are then used to employ the State-Action-Reward-State-Action (SARSA) algorithm and train the model over time. Our approach is evaluated on a simulated localisation environment and validated on a widely available pervasive health dataset which facilitates realistic residential localisation using RSS. We show that our method is cheaper to implement and requires less effort, whilst at the same time providing a performance enhancement and energy savings over time.

研究动机与目标

• 应对住宅环境中普适性健康监测系统日益增长的能耗成本。
• 通过利用辅助传感器提供弱监督，减少对高能耗传感器在室内定位中的依赖。
• 开发一种自适应的终身学习框架，实现最小化校准与能耗开销的前提下，随时间推移持续提升定位性能。
• 基于真实世界SPHERE项目数据验证该方法，确保其在仿真之外的泛化能力。
• 优化动作选择策略，在动态真实环境中实现性能与能效之间的平衡。

提出的方法

• 在马尔可夫决策过程（MDP）框架下，采用状态-动作-奖励-状态-动作（SARSA）算法学习最优传感器激活策略。
• 利用低功耗传感器（如PIR、环境传感器、RGB-D摄像头）提供的弱标签训练强化学习模型，部署期间无需高精度真实标签。
• 采用终身学习策略，通过周期性、选择性地激活高能耗传感器（如基于RSS的定位）持续改进智能体策略。
• 引入三种动作选择机制——贪婪策略、ε-贪婪策略和Softmax策略，以评估探索、利用与能效之间权衡的影响。
• 设计一个模拟环境，模拟真实住宅环境中的动态行为，包括变化的RF特征和用户行为，以在真实条件下测试算法。
• 在SPHERE普适性健康监测数据集上验证该方法，该数据集包含真实参与者在自然住宅环境中采集的多模态传感器数据。

实验结果

研究问题

• RQ1 强化学习智能体能否基于低成本传感器提供的弱标签，通过选择性激活高成本传感器，实现无线传感器网络中能耗的降低？
• RQ2 动作选择策略（贪婪、ε-贪婪、Softmax）的选择如何影响定位性能与能效之间的权衡？
• RQ3 所提出方法在普适性健康监测测试平台的真实世界、非仿真数据上具有多大程度的泛化能力？
• RQ4 持续的弱监督训练是否能在极少校准工作量下，实现定位精度的可测量提升？
• RQ5 当传感器数据不一致或存在噪声时，系统是否仍能保持高性能，同时减少对高能耗传感器的依赖？

主要发现

• ε-贪婪动作选择策略在性能提升与能效之间实现了最佳平衡，相比基线方法将传感器使用率降低了最高60%。
• 强化模型在真实世界数据中实现了1.80（±0.55）米的定位误差，相比对照模型的2.24（±0.98）米，性能提升25%。
• 高能耗传感器的使用效率持续下降，对高功耗传感器的依赖呈现稳定下降趋势，表明实现了有效的长期节能。
• 该方法在SPHERE数据集的真实世界数据上表现出良好的泛化能力，即使标签为房间级且存在噪声，仍保持稳定的性能增益。
• Softmax与贪婪方法因过度探索或过早收敛而表现出更高的波动性与次优性能，凸显了参数调优的重要性。
• 该算法在模拟与真实世界实验中均保持一致的性能提升，证明了其在真实部署环境下的鲁棒性与可扩展性。