[论文解读] Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges

Lei Lei, Yue Tan+5 more|arXiv (Cornell University)|Jul 22, 2019

Reinforcement Learning in Robotics参考文献 175被引用 13

一句话总结

本文提出了一种统一的深度强化学习（DRL）框架，用于自主物联网（AIoT）系统，整合了物理控制与网络/计算资源管理。本文综述了DRL在AIoT中的最新应用，根据所提出的通用模型对其进行分类，并识别出在可扩展性、实时性能和泛化能力方面的关键挑战。

ABSTRACT

The Internet of Things (IoT) extends the Internet connectivity into billions of IoT devices around the world, where the IoT devices collect and share information to reflect status of the physical world. The Autonomous Control System (ACS), on the other hand, performs control functions on the physical systems without external intervention over an extended period of time. The integration of IoT and ACS results in a new concept - autonomous IoT (AIoT). The sensors collect information on the system status, based on which the intelligent agents in the IoT devices as well as the Edge/Fog/Cloud servers make control decisions for the actuators to react. In order to achieve autonomy, a promising method is for the intelligent agents to leverage the techniques in the field of artificial intelligence, especially reinforcement learning (RL) and deep reinforcement learning (DRL) for decision making. In this paper, we first provide a tutorial of DRL, and then propose a general model for the applications of RL/DRL in AIoT. Next, a comprehensive survey of the state-of-art research on DRL for AIoT is presented, where the existing works are classified and summarized under the umbrella of the proposed general DRL model. Finally, the challenges and open issues for future research are identified.

研究动机与目标

• 通过引入自主物联网（AIoT）作为新范式，弥合自主控制系统与物联网之间的差距。
• 为AIoT应用提供一份全面的深度强化学习（DRL）教程。
• 提出一种通用的DRL模型，统一AIoT中物理系统控制与网络/资源控制。
• 系统性地综述并分类现有AIoT领域中DRL研究的应用领域。
• 识别在可扩展性、实时性能和DRL在AIoT中鲁棒性方面的开放挑战与未来研究方向。

提出的方法

• 提出一种分层的AIoT架构，集成物联网设备、边缘/雾计算节点与云服务器，配备传感器、执行器和智能代理。
• 引入统一的DRL模型，其中物联网设备、边缘或云服务器中的智能代理学习双重控制的最优策略：执行器动作与网络/计算资源分配。
• 利用深度神经网络（DNNs）表示高维状态空间中的价值函数或策略，实现从原始传感数据端到端的学习。
• 采用标准DRL算法（如深度Q网络（DQN）、优势演员评论家（A2C）和近端策略优化（PPO））在连续与离散动作空间中进行策略学习。
• 在基于DQN的方法中应用经验回放与目标网络以稳定训练，并通过深度神经网络函数逼近处理复杂的状态表示。
• 集成自然梯度方法以在策略优化中实现更高效的参数更新，提升收敛性与稳定性。

实验结果

研究问题

• RQ1 如何有效应用深度强化学习，以实现物联网系统在物理控制与网络控制层面上的自主性？
• RQ2 一种能够统一AIoT系统中执行器控制与资源分配的通用DRL框架是什么？
• RQ3 现有AIoT中的DRL方法在架构、学习目标与应用场景方面有何差异？
• RQ4 在实际AIoT系统中部署DRL时，主要挑战是什么，特别是延迟、可扩展性与泛化能力方面？
• RQ5 在使基于DRL的AIoT系统在动态环境中具备鲁棒性、可解释性与可部署性方面，仍存在哪些开放的研究问题？

主要发现

• 物联网与自主控制系统的集成催生了自主物联网（AIoT），其中智能代理基于传感反馈做出长期控制决策。
• DRL使代理能够从高维传感输入中无监督地学习最优控制策略，在复杂动态环境中优于传统控制方法。
• 所提出的通用DRL模型支持物理执行器控制与网络/计算资源控制的联合优化，从而提升整体系统性能。
• 现有AIoT中的DRL应用主要集中在智能建筑、智能电网、智能交通与无线网络领域，其在实时性能与可扩展性方面表现不一。
• 主要挑战包括高维状态-动作空间、延迟奖励、部分可观测性，以及在实际部署中对样本高效与稳定训练的需求。
• 未来研究必须解决环境间泛化、策略可解释性，以及AIoT系统在分布偏移与对抗性攻击下的鲁棒性问题。