[论文解读] Graph Reinforcement Learning for Network Control via Bi-Level Optimization

Daniele Gammelli, J. Harrison+4 more|arXiv (Cornell University)|May 16, 2023

Software-Defined Networks and 5G被引用 6

一句话总结

本文提出了一种基于双层优化的图强化学习框架，用于解决动态网络控制问题，其中强化学习智能体指定期望的下一状态，而凸规划则计算最优动作，相较于端到端强化学习和经典优化方法，在真实世界供应链和交通出行问题中实现了更优的可扩展性、样本效率和性能。

ABSTRACT

Optimization problems over dynamic networks have been extensively studied and widely used in the past decades to formulate numerous real-world problems. However, (1) traditional optimization-based approaches do not scale to large networks, and (2) the design of good heuristics or approximation algorithms often requires significant manual trial-and-error. In this work, we argue that data-driven strategies can automate this process and learn efficient algorithms without compromising optimality. To do so, we present network control problems through the lens of reinforcement learning and propose a graph network-based framework to handle a broad class of problems. Instead of naively computing actions over high-dimensional graph elements, e.g., edges, we propose a bi-level formulation where we (1) specify a desired next state via RL, and (2) solve a convex program to best achieve it, leading to drastically improved scalability and performance. We further highlight a collection of desirable features to system designers, investigate design decisions, and present experiments on real-world control problems showing the utility, scalability, and flexibility of our framework.

研究动机与目标

• 解决传统优化和启发式方法在大规模动态网络控制问题中面临的可扩展性和性能局限性。
• 通过数据驱动策略自动化高效控制算法的设计，减少对人工试错的依赖。
• 结合图神经网络、强化学习和凸优化的优势，实现稳健且可泛化的解决方案。
• 在复杂、随机或非线性网络控制环境中提升样本效率和收敛速度。
• 在真实世界问题（如动态车辆路径规划和库存控制）中验证该框架的有效性。

提出的方法

• 该框架采用双层优化结构：强化学习智能体输出期望的下一状态，凸规划则计算实现该状态的最优动作。
• 使用带有求和聚合的图神经网络（GNN）和多层感知机参数化策略函数和价值函数，以表示状态和动作。
• 动作空间通过线性控制规划（LCP）定义，旨在最小化重新平衡成本，同时满足流量守恒和容量约束。
• 该方法将高维动作预测与状态指定解耦，实现可扩展且可解释的决策过程。
• 通过由GNN参数化的随机策略实现探索，动作由均值和方差输出推导得出。
• 采用策略梯度方法进行训练，评论家估计价值函数，而评论家通过策略更新优化动作。

实验结果

研究问题

• RQ1 双层强化学习框架是否能在样本效率和性能方面优于端到端深度强化学习，在网络控制任务中表现更优？
• RQ2 将凸优化与基于图的强化学习相结合，如何提升动态网络问题中的可扩展性和鲁棒性？
• RQ3 哪些架构选择——如聚合函数、动作参数化方式和探索策略——对系统性能影响最大？
• RQ4 该框架在不同网络拓扑和运行条件下具有多大程度的泛化能力？
• RQ5 在真实世界供应链和交通出行应用中，该方法与经典优化方法和领域特定启发式方法相比表现如何？

主要发现

• 所提出的图强化学习框架在收敛速度和最终性能方面均优于端到端强化学习，后者需超过80,000次训练步骤才能收敛。
• 双层方法显著提升了样本效率，大幅减少了学习有效策略所需的交互次数。
• 该方法在动态车辆路径规划和库存控制任务中，优于基于经典优化的方法和领域特定的启发式方法。
• 该框架对网络拓扑和运行条件的变化表现出鲁棒性，在多种不同场景下均保持高性能。
• 消融研究证实，图聚合函数和动作参数化方式对性能影响显著，其中求和聚合表现最优。
• 可视化结果表明，策略能有效适应动态变化的行驶时间和网络拓扑，如路径重路由和新边的增加。