[论文解读] Influencing Long-Term Behavior in Multiagent Reinforcement Learning

Dong Ki Kim, Matthew Riemer+6 more|arXiv (Cornell University)|Mar 7, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出 FURTHER，一种面向多智能体强化学习的远见框架，通过建模智能体对其他智能体极限行为的长期影响来优化其策略。通过构建一个主动马尔可夫博弈并结合变分推断的策略梯度方法，FURTHER 在多种多智能体强化学习环境中均展现出优于短视基线方法的长期性能，稳定收敛至更优的均衡状态。

ABSTRACT

The main challenge of multiagent reinforcement learning is the difficulty of learning useful policies in the presence of other simultaneously learning agents whose changing behaviors jointly affect the environment's transition and reward dynamics. An effective approach that has recently emerged for addressing this non-stationarity is for each agent to anticipate the learning of other agents and influence the evolution of future policies towards desirable behavior for its own benefit. Unfortunately, previous approaches for achieving this suffer from myopic evaluation, considering only a finite number of policy updates. As such, these methods can only influence transient future policies rather than achieving the promise of scalable equilibrium selection approaches that influence the behavior at convergence. In this paper, we propose a principled framework for considering the limiting policies of other agents as time approaches infinity. Specifically, we develop a new optimization objective that maximizes each agent's average reward by directly accounting for the impact of its behavior on the limiting set of policies that other agents will converge to. Our paper characterizes desirable solution concepts within this problem setting and provides practical approaches for optimizing over possible outcomes. As a result of our farsighted objective, we demonstrate better long-term performance than state-of-the-art baselines across a suite of diverse multiagent benchmark domains.

研究动机与目标

• 解决由于多个智能体同时学习且行为共同演化所导致的多智能体强化学习中的非平稳性问题。
• 形式化一个框架，使智能体能够预见并影响其他智能体在时间趋于无穷时的极限策略。
• 开发一种实用的优化方法，通过考虑对其他智能体收敛行为的影响，最大化平均长期奖励。
• 证明远见优化目标相较于短视或无影响的方法能实现更优的均衡选择。
• 通过变分推断和定制化的贝尔曼更新，实现去中心化的训练与执行。

提出的方法

• 将多智能体学习形式化为一个主动马尔可夫博弈，通过联合策略更新的有向图模型来建模非平稳性。
• 提出一种新的优化目标，以最大化其他智能体收敛策略极限分布下的平均奖励。
• 开发 FURTHER，一种基于策略梯度的算法，采用为主动马尔可夫博弈定制的贝尔曼更新规则。
• 使用变分推断来近似其他智能体的策略更新函数，从而实现去中心化训练与执行。
• 引入平均场方法以扩展至大规模多智能体场景。
• 假设自身智能体采用固定且稳定的策略，以使长时程元学习问题变得可处理。

实验结果

研究问题

• RQ1 在多智能体系统中，智能体如何有效影响其他学习智能体的长期行为？
• RQ2 在多智能体强化学习中，考虑无限时域策略收敛与有限时域近似相比有何影响？
• RQ3 远见优化目标是否能带来优于短视或无影响方法的均衡选择？
• RQ4 该框架在多样化多智能体基准环境（包括合作、竞争及混合场景）中的表现如何？
• RQ5 变分推断在建模长期影响的同时，如何实现去中心化训练？

主要发现

• 在包括 IBS、IC、IMP、RoboSumo 和 Battle 在内的多个多智能体强化学习环境中，FURTHER 均持续获得高于最先进基线方法的长期平均奖励。
• 在 IBS 游戏中，FURTHER 有效收敛至最优纯策略纳什均衡，而基线方法未能实现。
• 在竞争性环境如 IMP 中，FURTHER 超过短视基线方法（如 MOA 和 DRON），后者因视野有限而易被利用。
• 该方法在大规模场景中表现出强鲁棒性与可扩展性，尤其在结合平均场近似时更为显著。
• 在自对弈和合作场景中，FURTHER 表现更优，收敛性能优于基线方法。
• 框架在不同超参数设置下表现稳定，平均奖励与收敛质量均保持一致的提升。