[论文解读] Believe What You See: Implicit Constraint Approach for Offline Multi-Agent Reinforcement Learning

Yiqin Yang, Xiaoteng Ma+6 more|arXiv (Cornell University)|Jun 7, 2021

Reinforcement Learning in Robotics参考文献 55被引用 18

一句话总结

该论文提出了一种新型离线多智能体强化学习算法——隐式约束Q-learning（ICQ），通过仅限制在离线数据集中存在的状态-动作对进行Q值估计，有效缓解了外推误差。通过将策略学习表述为带有隐式约束的监督回归问题，并对联合策略进行分解，ICQ在具有挑战性的StarCraft II离线多智能体环境上实现了最先进性能，且在不同智能体数量下均表现出稳定、可扩展的学习能力。

ABSTRACT

Learning from datasets without interaction with environments (Offline Learning) is an essential step to apply Reinforcement Learning (RL) algorithms in real-world scenarios. However, compared with the single-agent counterpart, offline multi-agent RL introduces more agents with the larger state and action space, which is more challenging but attracts little attention. We demonstrate current offline RL algorithms are ineffective in multi-agent systems due to the accumulated extrapolation error. In this paper, we propose a novel offline RL algorithm, named Implicit Constraint Q-learning (ICQ), which effectively alleviates the extrapolation error by only trusting the state-action pairs given in the dataset for value estimation. Moreover, we extend ICQ to multi-agent tasks by decomposing the joint-policy under the implicit constraint. Experimental results demonstrate that the extrapolation error is successfully controlled within a reasonable range and insensitive to the number of agents. We further show that ICQ achieves the state-of-the-art performance in the challenging multi-agent offline tasks (StarCraft II). Our code is public online at https://github.com/YiqinYang/ICQ.

研究动机与目标

• 为解决离线多智能体强化学习中因联合动作空间呈指数级增长而导致的外推误差迅速累积这一关键挑战。
• 开发一种方法，通过仅依赖观测数据进行Q值估计，避免对未见状态-动作对的过度泛化。
• 通过基于隐式约束的策略分解，将离线强化学习原则扩展至多智能体设置。
• 在多样化多智能体离线环境中（包括复杂的StarCraft II场景）展示鲁棒且可扩展的性能。
• 首次系统分析多智能体离线强化学习中的外推误差，揭示如BCQ等现有算法的失败模式。

提出的方法

• ICQ采用类似SARSA的更新方式估计Q值，仅考虑离线数据集中存在的状态-动作对，从而消除对未见动作的依赖。
• 通过优化策略以最大化在观测到的状态-动作对上的Q值，将策略学习转化为监督回归问题，避免分布偏移。
• 在隐式约束下对联合策略进行分解，实现多智能体协作的同时保持数据保真度并降低外推风险。
• 采用基于Softmax的归一化方法近似策略梯度中的分区函数，确保优化过程中不涉及未见动作。
• 通过值函数分解将该方法扩展至多智能体设置，其中个体Q值通过共享注意力机制组合，以建模联合值函数。
• 采用拉格朗日松弛方法强制实施隐式约束，平衡策略改进与数据一致性。

实验结果

研究问题

• RQ1 在外推多智能体强化学习中，外推误差如何随智能体数量增长而变化？
• RQ2 当联合动作空间呈指数级增长时，离线强化学习算法能否在多智能体环境中有效泛化？
• RQ3 现有离线强化学习方法（如BCQ）在外推至未见动作时，在多智能体设置中失败的程度有多大？
• RQ4 一种仅将Q值估计限制在已观测状态-动作对上的方法，是否能在复杂多智能体任务中实现稳定且可扩展的学习？
• RQ5 是否可能在隐式约束下对联合策略进行分解，以实现在无需交互的情况下有效进行多智能体离线学习？

主要发现

• ICQ在不同智能体数量下均能将外推误差控制在合理范围内，而BCQ则随着智能体数量增加出现Q值估计发散。
• 在StarCraft II离线基准测试中，ICQ在所有难度级别（包括最复杂的'超难'地图如27m_vs_30m）均实现了最先进性能。
• ICQ的单智能体版本在D4RL基准测试中也取得了具有竞争力的结果，证明其在单智能体与多智能体任务间均具备良好泛化能力。
• 消融实验表明，基于Softmax的分区函数近似引入的偏差极小，且性能保持稳定，验证了其在多智能体设置中的有效性。
• ICQ在所有评估的多智能体环境中均优于强基线方法（如BCQ-MA和CQL-MA），尤其在高复杂度场景中表现更优。
• 该方法对外部智能体数量不敏感，在环境中包含30多个智能体时仍能保持稳定的学习曲线和一致的性能表现。