[论文解读] Deep Reinforcement Learning for Wireless Sensor Scheduling in Cyber-Physical Systems

Alex S. Leong, Arunselvan Ramaswamy+3 more|arXiv (Cornell University)|Sep 13, 2018

Reinforcement Learning in Robotics参考文献 29被引用 9

一句话总结

本文提出了一种基于深度强化学习的无线网络化控制系统传感器调度框架，旨在优化在有限信道和丢包情况下的远程状态估计。采用无模型、可扩展的深度Q网络（DQN）方法，该方法在多种场景下显著优于传统的轮询和贪婪调度策略，实现了更优的估计稳定性和准确性，且无需了解信道状态信息。

ABSTRACT

In many Cyber-Physical Systems, we encounter the problem of remote state estimation of geographically distributed and remote physical processes. This paper studies the scheduling of sensor transmissions to estimate the states of multiple remote, dynamic processes. Information from the different sensors have to be transmitted to a central gateway over a wireless network for monitoring purposes, where typically fewer wireless channels are available than there are processes to be monitored. For effective estimation at the gateway, the sensors need to be scheduled appropriately, i.e., at each time instant one needs to decide which sensors have network access and which ones do not. To address this scheduling problem, we formulate an associated Markov decision process (MDP). This MDP is then solved using a Deep Q-Network, a recent deep reinforcement learning algorithm that is at once scalable and model-free. We compare our scheduling algorithm to popular scheduling algorithms such as round-robin and reduced-waiting-time, among others. Our algorithm is shown to significantly outperform these algorithms for many example scenarios.

研究动机与目标

• 解决大规模网络化控制系统中在有限无线信道和不可靠通信条件下的传感器传输调度问题。
• 开发一种可扩展的无模型调度方案，无需事先掌握信道统计特性或状态信息。
• 通过基于过程动态特性和估计误差协方差的传感器访问优化，提升远程状态估计的准确性。
• 通过深度函数逼近克服传统基于MDP的调度方法面临的维度灾难问题。
• 在多种网络条件下，证明深度强化学习相较于启发式和贪婪调度策略的优越性。

提出的方法

• 将传感器调度问题建模为马尔可夫决策过程（MDP），其中状态空间由估计误差协方差和保持时间定义。
• 采用带有经验回放和固定目标网络的深度Q网络（DQN）来近似Q值函数并稳定训练过程。
• 设计基于估计误差协方差减少的奖励函数，以引导学习过程朝向更优的状态估计。
• 通过深度神经网络实现函数逼近，以处理大规模的状态和动作空间，从而实现超越传统Q-learning的可扩展性。
• 通过与环境的在线交互进行智能体训练，实现实时适应信道和过程条件的变化。
• 采用无模型方法，无需显式了解信道统计特性或丢包概率。

实验结果

研究问题

• RQ1 深度强化学习能否有效解决具有多个动态过程和有限无线信道的大规模网络化控制系统中的传感器调度问题？
• RQ2 与传统的轮询和减少等待时间调度策略相比，基于DQN的方法在估计准确性和稳定性方面表现如何？
• RQ3 缺乏信道状态知识在多大程度上影响所提出的无模型调度算法的性能？
• RQ4 DQN的关键组件——经验回放和固定目标网络——对学习稳定性和性能有何影响？
• RQ5 基于DQN的调度器是否在估计性能上优于基于误差协方差或保持时间的贪婪策略？

主要发现

• 所提出的基于DQN的调度算法在所有测试场景中均显著优于轮询、减少等待时间及贪婪策略，尤其在估计误差协方差降低方面表现突出。
• 与基线策略相比，该算法实现了显著更低的平均估计误差，尤其在高丢包率和高动态环境下的性能提升最为明显。
• 若省略经验回放和固定目标网络，性能将出现显著下降，证明二者在稳定训练和提升收敛性方面具有关键作用。
• 无模型方法即使在缺乏信道统计信息的情况下仍保持优异性能，证明其在真实世界动态环境中的鲁棒性。
• 基于误差协方差的贪婪策略优于基于保持时间的策略，证实基于估计感知的调度可获得更优结果。
• 理论分析表明，当最大过程不稳定性低于某一阈值时，所提策略下的平均代价是有界的，支持长期稳定性。