[论文解读] Applications of Multi-Agent Reinforcement Learning in Future Internet: A Comprehensive Survey

Tianxu Li, Kun Zhu+5 more|arXiv (Cornell University)|Oct 26, 2021

Opportunistic and Delay-Tolerant Networks参考文献 180被引用 13

一句话总结

本文全面综述了多智能体强化学习（MARL）在下一代互联网技术中的应用，涵盖5G/6G、无人机网络、物联网（IoT）及车载网络。研究表明，MARL通过建模智能体之间的交互，实现去中心化、自适应的决策，借助合作与竞争机制，在动态环境中提升网络性能，关键应用包括网络接入、功率控制、任务卸载和安全防护。

ABSTRACT

Future Internet involves several emerging technologies such as 5G and beyond 5G networks, vehicular networks, unmanned aerial vehicle (UAV) networks, and Internet of Things (IoTs). Moreover, future Internet becomes heterogeneous and decentralized with a large number of involved network entities. Each entity may need to make its local decision to improve the network performance under dynamic and uncertain network environments. Standard learning algorithms such as single-agent Reinforcement Learning (RL) or Deep Reinforcement Learning (DRL) have been recently used to enable each network entity as an agent to learn an optimal decision-making policy adaptively through interacting with the unknown environments. However, such an algorithm fails to model the cooperations or competitions among network entities, and simply treats other entities as a part of the environment that may result in the non-stationarity issue. Multi-agent Reinforcement Learning (MARL) allows each network entity to learn its optimal policy by observing not only the environments, but also other entities' policies. As a result, MARL can significantly improve the learning efficiency of the network entities, and it has been recently used to solve various issues in the emerging networks. In this paper, we thus review the applications of MARL in the emerging networks. In particular, we provide a tutorial of MARL and a comprehensive survey of applications of MARL in next generation Internet. In particular, we first introduce single-agent RL and MARL. Then, we review a number of applications of MARL to solve emerging issues in future Internet. The issues consist of network access, transmit power control, computation offloading, content caching, packet routing, trajectory design for UAV-aided networks, and network security issues.

研究动机与目标

• 解决单智能体强化学习在异构、去中心化未来网络中因智能体交互导致非平稳性问题的局限性。
• 综述MARL在关键未来互联网领域（如网络接入、功率控制、计算卸载和内容缓存）的应用。
• 分析促进智能体间合作与竞争的MARL技术，以提升网络效率与稳定性。
• 识别MARL部署中的开放挑战，包括通信开销、奖励设计与可扩展性问题。
• 提出未来研究方向，包括NB-IoT频谱管理、区块链激励机制测试以及基于拍卖的资源分配。

提出的方法

• 调研150余篇关于MARL在下一代互联网中应用的近期文献，按应用领域与MARL算法类型分类。
• 将MARL方法划分为独立学习者、集中式训练去中心化执行（CTDE）以及值分解方法三类。
• 分析融合部分可观测性与通信机制的MARL框架，以应对去中心化决策问题。
• 评估奖励设计策略，包括全局奖励、局部奖励与混合奖励，以平衡合作与竞争。
• 应用MARL建模多智能体交互中的纳什均衡，用于安全防护与基于拍卖的频谱分配。
• 使用马尔可夫决策过程（MDPs）与部分可观测马尔可夫决策过程（POMDPs）形式化不确定环境下的智能体决策过程。

实验结果

研究问题

• RQ1 MARL如何有效建模动态、去中心化的未来网络中网络实体之间的合作与竞争交互？
• RQ2 在大规模、异构网络中，哪些关键MARL技术可提升学习稳定性与收敛性？
• RQ3 不同奖励函数（全局、局部、混合）如何影响MARL在网络优化任务中的性能与公平性？
• RQ4 在真实未来互联网系统中部署MARL的主要挑战是什么，特别是通信开销与可扩展性问题？
• RQ5 MARL如何被用于增强新兴网络（如区块链激励机制或频谱拍卖）的安全性与鲁棒性？

主要发现

• MARL通过建模智能体间的交互，显著提升学习效率与网络性能，有效缓解单智能体强化学习中的非平稳性问题。
• MARL支持去中心化决策并实现全局优化，尤其通过集中式训练去中心化执行（CTDE）框架实现。
• 结合全局与局部奖励的混合奖励设计通过平衡合作与竞争，提升智能体性能，优于单一奖励策略。
• MARL已成功应用于优化网络接入、发射功率控制、计算卸载以及无人机辅助网络中的轨迹规划。
• MARL通过模拟理性智能体行为并学习纳什均衡，能够发现区块链激励机制中的安全漏洞。
• 未来在NB-IoT频谱管理与基于拍卖的频谱分配中的应用，展现出显著降低干扰与提升资源利用率的潜力。