[论文解读] Influencing Towards Stable Multi-Agent Interactions

Woodrow Z. Wang, Andy Shih+2 more|arXiv (Cornell University)|Oct 5, 2021

Reinforcement Learning in Robotics参考文献 43被引用 7

一句话总结

本文提出了一种通过学习的潜在动力学模型主动影响对手策略的方法，以稳定多智能体交互，从而实现更高效、样本高效的强化学习。其主要贡献是一种无监督的稳定性奖励，可促使智能体稳定对手的策略，在自动驾驶和机器人操作等仿真环境中显著提升任务性能。

ABSTRACT

Learning in multi-agent environments is difficult due to the non-stationarity introduced by an opponent's or partner's changing behaviors. Instead of reactively adapting to the other agent's (opponent or partner) behavior, we propose an algorithm to proactively influence the other agent's strategy to stabilize -- which can restrain the non-stationarity caused by the other agent. We learn a low-dimensional latent representation of the other agent's strategy and the dynamics of how the latent strategy evolves with respect to our robot's behavior. With this learned dynamics model, we can define an unsupervised stability reward to train our robot to deliberately influence the other agent to stabilize towards a single strategy. We demonstrate the effectiveness of stabilizing in improving efficiency of maximizing the task reward in a variety of simulated environments, including autonomous driving, emergent communication, and robotic manipulation. We show qualitative results on our website: https://sites.google.com/view/stable-marl/.

研究动机与目标

• 解决多智能体强化学习中因对手策略变化导致的非平稳性挑战。
• 通过稳定对手策略而非建模复杂策略动态，减轻自车智能体学习算法的负担。
• 开发一种方法，使自车智能体能够主动影响对手，促使其收敛至稳定策略，从而简化长期策略学习。
• 基于对手策略的潜在表示设计一种无监督稳定性奖励，以在无需显式监督的情况下引导自车智能体。
• 证明稳定对手可提升各类仿真环境中任务奖励的最大化能力与样本效率。

提出的方法

• 使用无监督表示学习方法学习对手策略的低维潜在表示。
• 建模对手潜在策略随自车智能体动作而演变的动力学。
• 基于潜在空间中策略变化的频率与一致性定义无监督稳定性奖励。
• 将稳定性奖励与任务奖励结合，训练自车智能体在最大化任务性能的同时稳定对手行为。
• 采用对比学习目标以提升潜在策略表示的质量，并减少稳定性信号中的噪声。
• 在具有离散与连续潜在变量的环境中应用该方法，包括对手策略变化部分可观测的场景。

实验结果

研究问题

• RQ1 通过稳定性奖励主动影响是否能提升非平稳多智能体环境中的学习效率？
• RQ2 基于学习到的潜在策略动态的无监督稳定性奖励在稳定对手行为方面有多有效？
• RQ3 与反应式或非稳定基线相比，稳定对手策略是否能带来更好的任务奖励最大化？
• RQ4 在对手策略频繁切换且策略变化部分可观测的环境中，该方法表现如何？
• RQ5 当真实对手策略不可直接观测时，自车智能体是否仍能通过仅依赖潜在策略表示实现稳定？

主要发现

• 在 Circle (3 Goals) 环境中，SILI 达到了最高的任务奖励，与拥有真实对手策略访问权限的 Oracle 方法性能相当。
• 在 Circle (8 Goals) 环境中，SILI 有效稳定了对手，尽管对手策略复杂度提高，仍优于所有基线方法。
• 在 Circle (Unequal) 环境中，SILI 避免了不稳定的邻近策略，成功实现稳定，而其他基线因贪婪追踪不稳定策略而未能稳定。
• 在 Driving 环境中，SILI 是唯一实现零碰撞的方法，通过稳定对手行为显著优于基线。
• 在具有部分可观测性的 Detour Speaker-Listener 环境中，SILI 在约 250 次交互后学会稳定对手策略，实现持续高任务奖励；而 LILI 暂时稳定但任务性能出现下降。
• 即使在存在噪声或连续潜在表示的情况下，稳定性奖励依然有效，但离散潜在变量能提供更稳定的训练信号和更优性能。