[论文解读] Analysing Congestion Problems in Multi-agent Reinforcement Learning

Roxana Rădulescu, Peter Vrancx+1 more|arXiv (Cornell University)|Feb 28, 2017

Traffic control and management参考文献 8被引用 6

一句话总结

本文提出了道路网络领域（RND），这是一个新的多智能体强化学习基准，其中资源相互依赖，模拟了交通或电网等现实世界网络。结果表明，尽管资源抽象在处理复杂相互依赖关系时表现不佳，但差异奖励方法通过更好地捕捉环境动态，始终能实现最优性能。

ABSTRACT

Congestion problems are omnipresent in today's complex networks and represent a challenge in many research domains. In the context of Multi-agent Reinforcement Learning (MARL), approaches like difference rewards and resource abstraction have shown promising results in tackling such problems. Resource abstraction was shown to be an ideal candidate for solving large-scale resource allocation problems in a fully decentralized manner. However, its performance and applicability strongly depends on some, until now, undocumented assumptions. Two of the main congestion benchmark problems considered in the literature are: the Beach Problem Domain and the Traffic Lane Domain. In both settings the highest system utility is achieved when overcrowding one resource and keeping the rest at optimum capacity. We analyse how abstract grouping can promote this behaviour and how feasible it is to apply this approach in a real-world domain (i.e., what assumptions need to be satisfied and what knowledge is necessary). We introduce a new test problem, the Road Network Domain (RND), where the resources are no longer independent, but rather part of a network (e.g., road network), thus choosing one path will also impact the load on other paths having common road segments. We demonstrate the application of state-of-the-art MARL methods for this new congestion model and analyse their performance. RND allows us to highlight an important limitation of resource abstraction and show that the difference rewards approach manages to better capture and inform the agents about the dynamics of the environment.

研究动机与目标

• 为解决现有拥塞基准假设资源独立所带来的局限性，这些假设无法反映现实世界中的相互依赖关系。
• 评估资源抽象与差异奖励在真实、互联网络环境中性能与适用性的表现。
• 基于其假设与约束，提供关于何时以及如何应用资源抽象的明确指导。
• 引入一个新的基准领域——RND，用于建模如交通网络中共享路段等相互依赖的资源。
• 分析资源抽象在复杂、网络化的环境中是否能有效引导智能体实现最优集体行为。

提出的方法

• 提出道路网络领域（RND），这是一个新的多智能体强化学习基准，其中智能体在由互联道路段组成的网络上选择路径，每条道路段具有容量和权重约束。
• 建模环境使得选择某条路径会增加共享路段的负载，从而在资源选择之间引入相互依赖性。
• 应用两种主要的多智能体强化学习方法：资源抽象（RA），将路径分组为抽象资源以调整奖励；以及差异奖励，基于单个智能体的贡献来调整奖励。
• 使用Q-learning与价值函数更新训练智能体，应用如下更新规则：$ Q(s,a) = Q(s,a) + \nalpha[r + \ngamma\text{max}_{a'}Q(s',a')] $。
• 采用两种效用方案：海滩问题领域（BPD）效用，其最大效用通过使某条路径过度拥挤实现；以及交通车道领域（TLD）效用，其最优性能要求避免关键路段的拥堵。
• 在多种抽象组配置下评估方法，通过2000集、30次试验测量全局效用，报告均值与标准差。

实验结果

研究问题

• RQ1 在具有相互依赖资源的网络环境中，资源抽象能否有效引导智能体实现最优行为？
• RQ2 当资源如现实世界中的道路或电网网络相互连接时，资源抽象的假设在何种情况下会失效？
• RQ3 在相互依赖资源设定下，差异奖励方法是否优于资源抽象，以更好地捕捉复杂环境动态？
• RQ4 在现实世界的拥塞问题中，有效应用资源抽象所需的必要条件与知识要求是什么？
• RQ5 在联网领域中，是否能可靠地使用资源抽象表达期望的集体行为，例如使某条路径过度拥挤而其他路径保持容量？

主要发现

• 在BPD效用方案中，当最高系统效用要求避免关键路段拥堵时，资源抽象无法表达最优解，因为该方法无法编码‘避免过度拥挤’的行为。
• 在TLD效用方案中，当最优性能要求避免关键路段（如AC和BD）的拥堵时，采用$[ABD,ACD],[ABCD]$配置的资源抽象可实现最优性能，但仅当抽象组被精心设计以反映期望行为时才成立。
• 差异奖励方法在所有测试配置和效用方案中均持续实现最优或近似最优性能，在复杂、相互依赖的环境中优于资源抽象。
• 资源抽象的性能对抽象组的选择极为敏感；例如，$[ABD,ACD],[ABCD]$在BPD中表现差但在TLD中表现好，凸显了对问题深入理解的必要性。
• 资源抽象需要详细了解单个资源的容量、权重以及全局效用函数，这限制了其在现实世界领域中的实际适用性。
• RND基准成功建模了网络中现实世界的相互依赖关系，揭示了当前多智能体强化学习方法必须考虑共享资源约束，而不能仅依赖独立资源选择。