[论文解读] Graph Attention Network-based Multi-agent Reinforcement Learning for Slicing Resource Management in Dense Cellular Network

Yan Shao, Rongpeng Li+4 more|arXiv (Cornell University)|Aug 11, 2021

Software-Defined Networks and 5G被引用 4

一句话总结

本文提出了一种基于图注意力网络（GAT）增强的多智能体强化学习（MARL）框架，用于密集5G蜂窝网络中的动态网络切片资源管理。通过将基站建模为智能体，并利用GAT捕捉时-空依赖关系，该方法提升了基站之间的协作能力，相较于基线深度强化学习方法（如DQN和A2C），系统效用最高提升7%，且收敛稳定性更优。

ABSTRACT

Network slicing (NS) management devotes to providing various services to meet distinct requirements over the same physical communication infrastructure and allocating resources on demands. Considering a dense cellular network scenario that contains several NS over multiple base stations (BSs), it remains challenging to design a proper real-time inter-slice resource management strategy, so as to cope with frequent BS handover and satisfy the fluctuations of distinct service requirements. In this paper, we propose to formulate this challenge as a multi-agent reinforcement learning (MARL) problem in which each BS represents an agent. Then, we leverage graph attention network (GAT) to strengthen the temporal and spatial cooperation between agents. Furthermore, we incorporate GAT into deep reinforcement learning (DRL) and correspondingly design an intelligent real-time inter-slice resource management strategy. More specially, we testify the universal effectiveness of GAT for advancing DRL in the multi-agent system, by applying GAT on the top of both the value-based method deep Q-network (DQN) and a combination of policy-based and value-based method advantage actor-critic (A2C). Finally, we verify the superiority of the GAT-based MARL algorithms through extensive simulations.

研究动机与目标

• 解决在服务需求波动频繁且基站频繁切换的密集5G蜂窝网络中，实时跨切片资源管理的挑战。
• 提升基站（BSs）之间的协作能力，以增强全局资源分配效率，并满足多样化服务需求（eMBB、URLLC、mMTC）。
• 开发一种可扩展、自适应的资源管理策略，动态分配网络切片中的频谱与计算资源。
• 验证图注意力网络（GAT）在增强多智能体设置下深度强化学习（DRL）性能方面的作用，特别是在网络切片场景中的有效性。

提出的方法

• 将网络切片资源管理问题建模为多智能体强化学习（MARL）问题，其中每个基站（BS）作为独立智能体。
• 在状态表示中集成图注意力网络（GAT），以建模基站之间的时空依赖关系，实现对邻近智能体状态的注意力加权聚合。
• 在两种主流DRL算法（深度Q网络DQN和优势演员评论家A2C）之前引入GAT，构建GAT-DQN和GAT-A2C框架。
• 设计复合奖励函数，平衡频谱效率（SE）与切片特定可靠性（SSR），并对违反SLA的行为施加惩罚，尤其针对URLLC切片。
• 采用集中训练、去中心化执行（CTDE）方式训练基于GAT的MARL智能体，训练期间实现完全可观测性，推理阶段保持可扩展性。
• 使用图结构状态输入，其中节点代表基站，边代表无线连接或干扰关系，GAT注意力系数在训练过程中动态学习。

实验结果

研究问题

• RQ1 GAT能否有效建模基站之间的时-空依赖关系，从而提升多智能体强化学习在网络切片中的协作能力？
• RQ2 将GAT集成到DRL框架（DQN和A2C）中，对跨切片资源分配的收敛速度、稳定性及最终性能有何影响？
• RQ3 在系统效用、频谱效率（SE）和切片服务可靠性（SSR）方面，基于GAT的MARL方法相较于传统硬切片和原始DRL方法的性能提升程度如何？
• RQ4 当动作空间大小增加且服务需求粒度变化时，GAT增强的MARL方法性能如何扩展？
• RQ5 在服务需求波动、高移动性的动态网络环境中，GAT机制是否提升了鲁棒性与适应性？

主要发现

• GAT-DQN与GAT-A2C分别相较于基线DQN与A2C，系统效用最高提升7%，尤其在大动作空间场景（Δ = 0.18 MHz）中表现显著，证明了GAT增强方法的可扩展性。
• 基于GAT的算法将频谱效率（SE）最高提升7%，同时保持或超过URLLC切片的SLA要求（SSR ≥ 0.9），表明在性能与可靠性之间实现了有效权衡。
• GAT-A2C相比GAT-DQN展现出更稳定的收敛行为，尤其在细粒度资源分配场景（Δ = 0.18 MHz）中，表明其在复杂环境中的策略稳定性更优。
• 在粗粒度场景（Δ = 0.54 MHz）中，GAT集成使效用相比DQN提升4%，证实其在不同动作空间大小下均具有一致优势。
• 所有基于DRL的算法，尤其是GAT增强版本，显著提升了URLLC服务的SSR（0.8–0.9），同时未降低eMBB或mMTC的性能（SSR ≈ 1.0），确保严格满足SLA要求。
• 该方法在不同超参数设置下（如β = [1,1,1]、[1,2,3]、[1,1,5]）均保持有效，表明对参数变化具有鲁棒性，且对人工调参需求极低。