[论文解读] Coordination-driven learning in multi-agent problem spaces

Sean L. Barton, Nicholas R. Waytowich+1 more|arXiv (Cornell University)|Sep 13, 2018

Reinforcement Learning in Robotics参考文献 10被引用 5

一句话总结

本文通过引入一种新型协调度量——因果协调度量（Causal Coordination Measure, CCM），将多智能体强化学习（MARL）中的智能体间协调优化作为直接学习目标。CCM 用于量化动作之间的相互依赖性。通过将 CCM 整合到学习损失中，智能体能够显式地学习协调行为，而非依赖于涌现行为，从而在对抗性与合作性任务（如捕食者-猎物追捕）中显著提升鲁棒性。

ABSTRACT

We discuss the role of coordination as a direct learning objective in multi-agent reinforcement learning (MARL) domains. To this end, we present a novel means of quantifying coordination in multi-agent systems, and discuss the implications of using such a measure to optimize coordinated agent policies. This concept has important implications for adversary-aware RL, which we take to be a sub-domain of multi-agent learning.

研究动机与目标

• 为解决多智能体强化学习（MARL）中在复杂或对抗性环境中缺乏保证协调的问题。
• 克服仅以性能为度量指标的局限性，这些指标在学习过程中无法捕捉真正的协调行为。
• 开发一种方法，显式地引导智能体策略向协调行为发展，而非依赖于涌现协调。
• 通过确保智能体内在地倾向于与伙伴协调，提升人机协作的可靠性。
• 通过训练智能体以协调策略预见并应对对抗性行为，提升对对抗性攻击的鲁棒性。

提出的方法

• 引入一种新型协调度量——因果协调度量（Causal Coordination Measure, CCM），用于量化智能体动作之间的因果影响。
• 通过在反向传播过程中将 CCM 纳入智能体的损失函数，将其作为学习目标中的直接信号。
• 将 CCM 作为辅助奖励或损失中的正则化项，以引导策略学习向协调行为发展。
• 在包含三个捕食者和一个猎物的连续二维捕食者-猎物追捕环境中实现该方法，以测试协调动力学。
• 在训练过程中调整协调阈值，以实验方式控制协调程度，并观察其对任务性能的影响。
• 利用 CCM 引导学习过程，使智能体在优化任务成功率（得分）的同时也优化智能体间的协调性，避免出现自私或振荡的策略。

实验结果

研究问题

• RQ1 能否通过因果度量在多智能体系统中有效量化协调性，并作为可度量的信号？
• RQ2 通过 CCM 显式优化协调性是否相比仅基于性能的学习目标能带来更好的任务表现？
• RQ3 调整协调阈值如何影响 MARL 中的策略学习、协调质量及任务结果？
• RQ4 基于协调的学习能否提升 MARL 设置下对对抗性攻击的鲁棒性？
• RQ5 CCM 在多大程度上可防止智能体收敛至损害集体表现的自私策略？

主要发现

• 因果协调度量（CCM）通过测量动作之间的因果影响，成功量化了智能体间的协调性，为学习过程提供了可靠的信号。
• 当 CCM 被整合到学习损失中时，智能体即使在协调行为不会自然涌现的复杂环境中，也能显式学习到协调行为。
• 与标准 MARL 方法相比，采用 CCM 的训练能实现更高且更稳定的协调水平，后者虽任务表现优异却常无法实现有意义的协调。
• 通过设定期望的协调阈值，该方法实现了对协调水平的实验性控制，从而可系统研究协调性对性能的影响。
• 基于协调的学习显著降低了智能体收敛至自私策略的风险，这些策略虽最大化个体奖励却损害集体成果。
• 在捕食者-猎物追捕任务中，基于 CCM 的训练能产生协调的群体驱赶行为，显著提升捕食成功率，优于非协调策略。