[论文解读] Model-Based Opponent Modeling

Xiaopeng Yu, Jiechuan Jiang+3 more|arXiv (Cornell University)|Aug 4, 2021

Reinforcement Learning in Robotics参考文献 38被引用 9

一句话总结

该论文提出基于模型的对手建模（MBOM），一种利用环境模型递归模拟对手策略改进，并通过贝叶斯混合整合这些想象中的策略，以适应多样化对手的方法。MBOM在涉及固定、学习型和推理型对手的竞争性任务中优于强基线方法，展现出在非平稳多智能体环境中的优越适应能力。

ABSTRACT

When one agent interacts with a multi-agent environment, it is challenging to deal with various opponents unseen before. Modeling the behaviors, goals, or beliefs of opponents could help the agent adjust its policy to adapt to different opponents. In addition, it is also important to consider opponents who are learning simultaneously or capable of reasoning. However, existing work usually tackles only one of the aforementioned types of opponents. In this paper, we propose model-based opponent modeling (MBOM), which employs the environment model to adapt to all kinds of opponents. MBOM simulates the recursive reasoning process in the environment model and imagines a set of improving opponent policies. To effectively and accurately represent the opponent policy, MBOM further mixes the imagined opponent policies according to the similarity with the real behaviors of opponents. Empirically, we show that MBOM achieves more effective adaptation than existing methods in a variety of tasks, respectively with different types of opponents, i.e., fixed policy, naïve learner, and reasoning learner.

研究动机与目标

• 解决在非平稳多智能体环境中适应多样化、未见过的对手的挑战，其中对手策略可能为固定、学习型或推理型。
• 开发一种统一框架，建模对手策略的改进过程，而无需事先知晓对手学习算法或行为模式。
• 通过模拟递归推理并优化对手策略估计，实现在竞争性和合作性多智能体设置中的有效适应。

提出的方法

• MBOM利用环境模型模拟交互过程，通过递归想象生成一系列想象中的对手策略（IOPs），代表对手推理能力逐步提升的层次。
• 每个想象中的对手策略通过模拟对智能体策略的最佳响应生成，随后利用这些模拟轨迹微调对手模型。
• 该方法采用贝叶斯混合将多个IOPs组合，根据其与真实对手行为的相似度进行加权，提升策略估计的准确性。
• 智能体的策略基于IOPs的加权混合进行条件化，实现对未知对手类型的动态适应。
• 通过将多个对手视为联合对手，该方法可扩展至多对手场景，同时保持与单对手建模的一致性。
• MBOM端到端训练，无需架构修改，可直接应用于竞争性和合作性任务。

实验结果

研究问题

• RQ1 基于模型的方法是否能在不预先假设其学习规则的前提下，有效模拟并表征多样化对手（包括学习型和推理型智能体）的策略改进？
• RQ2 对手策略的递归想象在多大程度上增强了智能体在非平稳多智能体环境中的适应能力？
• RQ3 与均匀混合或单层混合相比，想象中对手策略的贝叶斯混合在多大程度上提升了估计准确性？
• RQ4 MBOM能否泛化至合作性多智能体任务？在这些设置中，其表现与现有方法相比如何？
• RQ5 当对手同时处于学习或推理状态时，MBOM对对手行为变化的鲁棒性如何？

主要发现

• 在涉及推理型学习者的竞争性任务中，MBOM显著优于强基线方法，包括Meta-PG、Meta-MAPG和LOLA-DiCE，尤其在Predator-Prey环境中表现突出。
• 消融实验表明，递归想象与贝叶斯混合均至关重要：MBOM-ϕ₁和MBOM-ϕ₂均优于MBOM-ϕ₀，且贝叶斯混合始终优于均匀混合。
• 在Coin Game合作性任务中，MBOM略胜于PPO，表明其可在不降低性能的前提下有效应用于合作性场景。
• 在合作性场景中，MBOM表现优于Meta-PG和Meta-MAPG，后者因缺乏训练数据而退化为贪婪策略。
• 该方法能有效适应学习型对手，如Predator-Prey环境中接触次数减少所示，而LOLA-DiCE和Meta-PG等基线方法在策略变化时无法维持性能。
• 实证结果表明，MBOM无需事先了解对手行为或学习算法，即可在固定型、天真学习型和推理型对手之间实现良好泛化。