[论文解读] Graph Convolutional Reinforcement Learning for Multi-Agent Cooperation

Jiechuan Jiang, Chen Dun+1 more|arXiv (Cornell University)|Oct 22, 2018

Complex Network Analysis Techniques参考文献 19被引用 51

一句话总结

该论文提出了一种图卷积强化学习框架，通过动态图结构捕捉高阶关系依赖，实现多智能体合作。通过在具有扩展感受野的智能体之间进行消息传递，并对关系表征实施时间正则化，该方法实现了更复杂且一致的合作策略，在丛林和战斗游戏以及网络路由任务中优于先前方法。

ABSTRACT

Learning to cooperate is crucially important in multi-agent reinforcement learning. The key is to take the influence of other agents into consideration when performing distributed decision making. However, multi-agent environment is highly dynamic, which makes it hard to learn abstract representations of influences between agents by only low-order features that existing methods exploit. In this paper, we propose a graph convolutional model for multi-agent cooperation. The graph convolution architecture adapts to the dynamics of the underlying graph of the multi-agent environment, where the influence among agents is captured by their abstract relation representations. High-order features extracted by relation kernels of convolutional layers from gradually increased receptive fields are exploited to learn cooperative strategies. The gradient of an agent not only backpropagates to itself but also to other agents in its receptive fields to reinforce the learned cooperative strategies. Moreover, the relation representations are temporally regularized to make the cooperation more consistent. Empirically, we show that our model enables agents to develop more cooperative and sophisticated strategies than existing methods in jungle and battle games and routing in packet switching networks.

研究动机与目标

• 解决在高度动态的多智能体环境中学习智能体影响的抽象高阶表征的挑战。
• 通过建模超越低阶特征的智能体间关系，改进分布式决策。
• 通过时间正则化关系表征提升合作的一致性。
• 开发一种可扩展且自适应的框架，以捕捉多智能体系统中的演化依赖关系。

提出的方法

• 该方法采用图卷积架构，其中智能体为节点，其交互形成图结构中的动态边。
• 卷积层中的关系核从逐渐增加的感受野中提取高阶特征，以建模智能体之间的复杂依赖。
• 梯度反向传播不仅作用于智能体自身的参数，还扩展到其感受野内的其他智能体，以强化合作学习。
• 对关系表征应用时间正则化，以稳定并提升所学合作策略的一致性。
• 在多智能体强化学习框架内，使用策略梯度方法端到端训练模型。
• 图结构会动态适应环境变化，从而增强对环境动态的鲁棒性。

实验结果

研究问题

• RQ1 通过图卷积提取的高阶关系特征是否能提升动态环境中多智能体的合作？
• RQ2 将梯度反向传播扩展到邻近智能体，如何增强合作策略的学习？
• RQ3 对关系表征的时间正则化在多大程度上提升了合作行为的一致性？
• RQ4 所提出方法是否能在复杂多智能体环境中学习到比现有方法更复杂的策略？

主要发现

• 与现有方法相比，该方法使智能体在丛林和战斗游戏中发展出更合作、更复杂的策略。
• 通过时间正则化关系表征，模型实现了更优的合作一致性。
• 通过图卷积层提取的高阶特征，能更好地表征动态环境中智能体间的相互影响。
• 扩展的梯度反向传播机制通过在智能体邻域内传播信用，强化了合作策略学习。
• 实证结果表明，在分组交换网络中的路由任务中，该方法性能优于基线方法。
• 该框架在具有复杂、演化交互的环境中表现出良好的可扩展性和适应性。