[论文解读] Applications of Deep Reinforcement Learning in Communications and Networking: A Survey

Nguyen Cong Luong, Dinh Thai Hoang+5 more|arXiv (Cornell University)|Oct 18, 2018

Software-Defined Networks and 5G参考文献 139被引用 16

一句话总结

本综述全面回顾了深度强化学习（DRL）在通信与网络中的应用，涵盖动态频谱接入、数据速率控制、缓存、卸载、安全性和路由等问题。它展示了DRL如何通过利用深度神经网络处理高维状态和动作空间，使5G及更高级网络等大规模、不确定网络实现自主、可扩展且自适应的决策制定。

ABSTRACT

This paper presents a comprehensive literature review on applications of deep reinforcement learning in communications and networking. Modern networks, e.g., Internet of Things (IoT) and Unmanned Aerial Vehicle (UAV) networks, become more decentralized and autonomous. In such networks, network entities need to make decisions locally to maximize the network performance under uncertainty of network environment. Reinforcement learning has been efficiently used to enable the network entities to obtain the optimal policy including, e.g., decisions or actions, given their states when the state and action spaces are small. However, in complex and large-scale networks, the state and action spaces are usually large, and the reinforcement learning may not be able to find the optimal policy in reasonable time. Therefore, deep reinforcement learning, a combination of reinforcement learning with deep learning, has been developed to overcome the shortcomings. In this survey, we first give a tutorial of deep reinforcement learning from fundamental concepts to advanced models. Then, we review deep reinforcement learning approaches proposed to address emerging issues in communications and networking. The issues include dynamic network access, data rate control, wireless caching, data offloading, network security, and connectivity preservation which are all important to next generation networks such as 5G and beyond. Furthermore, we present applications of deep reinforcement learning for traffic routing, resource sharing, and data collection. Finally, we highlight important challenges, open issues, and future research directions of applying deep reinforcement learning.

研究动机与目标

• 解决传统强化学习在大规模、复杂网络中因高维状态和动作空间而面临的局限性。
• 回顾深度强化学习（DRL）如何在物联网（IoT）、无人机（UAV）和异构网络（HetNets）等现代网络中实现自主、去中心化的决策制定。
• 分析DRL在关键网络问题中的应用：动态频谱接入、数据速率控制、无线缓存、数据卸载、安全性和连接性保持。
• 识别将DRL应用于下一代通信系统时的开放挑战与未来研究方向。

提出的方法

• 综述强化学习、深度学习及深度强化学习的基础概念，包括DQN、双DQN（dueling DQN）和近端策略优化（proximal policy optimization）。
• 根据DRL技术在特定网络问题中的应用进行分类，例如使用马尔可夫决策过程（MDPs）在不确定性下进行决策。
• 分析基于DRL的动态频谱接入解决方案，利用带有深度神经网络的Q-learning处理大规模状态空间。
• 通过学习用户移动性和流量模式，无需预先知晓信道模型，应用DRL优化数据卸载与缓存。
• 通过建模动态激励机制与用户行为，利用DRL实现拍卖与众包感知中安全高效的资源分配。
• 通过利用低复杂度的接收信号强度测量作为输入进行信道估计，评估DRL在无线能量传输与传感器网络中的应用。

实验结果

研究问题

• RQ1 深度强化学习如何克服传统强化学习在大规模、动态网络中的可扩展性局限？
• RQ2 在不确定性条件下，哪些关键DRL架构与算法能够实现通信与网络中有效决策？
• RQ3 DRL在优化关键网络功能（如频谱接入、数据卸载与缓存）方面有哪些应用方式？
• RQ4 DRL如何在信息交换最少的物联网（IoT）与无人机（UAV）网络中支持自主与去中心化运行？
• RQ5 在5G及更高级网络中部署DRL时，存在哪些开放挑战与未来研究方向？

主要发现

• DRL能够在高维状态与动作空间的大规模网络中实现高效学习与策略优化，而传统强化学习因计算不可行而失效。
• 基于DRL的方法通过从实时网络反馈中学习，无需完整信道状态信息，即可在动态频谱接入与数据卸载中实现近似最优性能。
• 在无线能量传输与传感器网络中，DRL仅通过接收信号强度测量即可实现低复杂度信道估计，显著降低传感器节点的能耗。
• 通过建模动态加密货币价值与用户行为，DRL支持移动众包感知与基于区块链的无线网络中的安全高效激励机制。
• DRL通过适应时变网络状态与用户移动性模式，在交通路由与资源共享方面优于传统方法。
• 尽管性能表现优异，但在样本效率、泛化能力与实时部署方面仍面临挑战，尤其在高度动态与异构网络中。