[论文解读] A Regularized Opponent Model with Maximum Entropy Objective

Tian Zheng, Ying Wen+4 more|arXiv (Cornell University)|May 17, 2019

Reinforcement Learning in Robotics参考文献 24被引用 6

一句话总结

该论文提出ROMMEO，一种用于多智能体强化学习的正则化对手建模框架，通过最大熵目标将多智能体强化学习形式化为概率推理问题。通过推导最优性似然的变分下界，ROMMEO实现了理论基础坚实的对手建模，实证结果表明，在迭代矩阵博弈和微分博弈等合作性游戏中，其性能优于强大的多智能体强化学习基线方法，分别通过精确算法（ROMMEO-Q）和近似算法（ROMMEO-AC）实现。

ABSTRACT

In a single-agent setting, reinforcement learning (RL) tasks can be cast into an inference problem by introducing a binary random variable o, which stands for the "optimality". In this paper, we redefine the binary random variable o in multi-agent setting and formalize multi-agent reinforcement learning (MARL) as probabilistic inference. We derive a variational lower bound of the likelihood of achieving the optimality and name it as Regularized Opponent Model with Maximum Entropy Objective (ROMMEO). From ROMMEO, we present a novel perspective on opponent modeling and show how it can improve the performance of training agents theoretically and empirically in cooperative games. To optimize ROMMEO, we first introduce a tabular Q-iteration method ROMMEO-Q with proof of convergence. We extend the exact algorithm to complex environments by proposing an approximate version, ROMMEO-AC. We evaluate these two algorithms on the challenging iterated matrix game and differential game respectively and show that they can outperform strong MARL baselines.

研究动机与目标

• 通过将最优性指标重新定义为随机变量，将多智能体强化学习系统地形式化为概率推理问题。
• 解决在合作性多智能体环境中，智能体需适应动态、策略性对手时的对手建模挑战。
• 开发一个理论基础坚实的框架，整合正则化与最大熵原理，以提升多智能体强化学习中的泛化能力与稳定性。
• 设计精确与近似算法，以在复杂环境中优化所提出的目标。
• 通过实证验证该框架在迭代矩阵博弈和微分博弈等具有挑战性的合作性游戏环境中的性能，优于现有多智能体强化学习基线方法。

提出的方法

• 通过引入表示多智能体环境中最优性的二值随机变量 o，将多智能体强化学习重新表述为概率推理问题。
• 推导出最优性似然的变分下界，命名为正则化对手模型与最大熵目标（ROMMEO），该方法结合了正则化与熵最大化。
• 提出ROMMEO-Q，一种基于表格的Q-迭代算法，并为小规模环境中的精确优化提供了收敛性证明。
• 通过ROMMEO-AC，一种使用函数逼近的近似演员-评论家算法，将ROMMEO扩展至复杂环境。
• 利用变分推理技术优化目标函数，通过熵最大化在策略性能与不确定性之间实现平衡。
• 通过从ROMMEO目标中推断对手策略分布，将对手建模整合到策略更新过程中。

实验结果

研究问题

• RQ1 如何系统地将多智能体强化学习形式化为概率推理问题？
• RQ2 在合作性多智能体强化学习中，引入正则化与最大熵目标对对手建模与策略学习有何影响？
• RQ3 最优性似然的变分下界是否能带来合作性游戏中的稳定且样本高效的训练？
• RQ4 在不同类型的游戏中，精确算法（ROMMEO-Q）与近似算法（ROMMEO-AC）在性能与收敛性方面如何比较？
• RQ5 ROMMEO在迭代矩阵博弈和微分博弈等具有挑战性的合作性环境中，相较于现有MARL基线方法，优势程度如何？

主要发现

• ROMMEO-Q在表格设置中收敛至稳定策略，论文中提供了收敛性的理论证明。
• ROMMEO-AC在微分博弈等复杂环境中表现出色，通过函数逼近展示了良好的可扩展性。
• 所提出的框架在迭代矩阵博弈与微分博弈中均优于强基线方法，展现出更高的样本效率与最终性能。
• ROMMEO中最大熵与正则化的整合，使策略更具鲁棒性与泛化能力，优于标准对手建模方法。
• 实证结果证实，ROMMEO中推导出的变分下界有效捕捉了策略性能与不确定性之间的权衡。
• 该框架实现了有效的对手建模，显著增强了多智能体环境中的合作能力，尤其在长时程合作任务中表现突出。