[论文解读] Diverse Auto-Curriculum is Critical for Successful Real-World Multiagent Learning Systems

Yaodong Yang, Jun Luo+6 more|arXiv (Cornell University)|Feb 15, 2021

Reinforcement Learning in Robotics参考文献 78被引用 10

一句话总结

本文主张，在自动驾驶等现实世界多智能体强化学习（MARL）应用中，具备多样性意识的自动课程至关重要。通过利用SMARTS仿真器和ULTRA基准，作者提出了一种框架，通过自我改进、协同进化的策略生成日益复杂且多样的社交智能体行为，从而实现比基于规则的模型更真实、更具交互性的仿真。

ABSTRACT

Multiagent reinforcement learning (MARL) has achieved a remarkable amount of success in solving various types of video games. A cornerstone of this success is the auto-curriculum framework, which shapes the learning process by continually creating new challenging tasks for agents to adapt to, thereby facilitating the acquisition of new skills. In order to extend MARL methods to real-world domains outside of video games, we envision in this blue sky paper that maintaining a diversity-aware auto-curriculum is critical for successful MARL applications. Specifically, we argue that \\emph{behavioural diversity} is a pivotal, yet under-explored, component for real-world multiagent learning systems, and that significant work remains in understanding how to design a diversity-aware auto-curriculum. We list four open challenges for auto-curriculum techniques, which we believe deserve more attention from this community. Towards validating our vision, we recommend modelling realistic interactive behaviours in autonomous driving as an important test bed, and recommend the SMARTS/ULTRA benchmark.

研究动机与目标

• 解决现实世界应用中多智能体强化学习（MARL）存在的行为多样性不足问题。
• 将自动驾驶确立为评估多样性意识MARL框架的关键测试平台。
• 克服当前仿真器依赖基于规则或脚本的社交智能体、交互多样性有限的局限性。
• 开发一种可扩展的自动课程框架，通过协同进化生成多样化且具备能力的智能体行为。
• 实现复杂、真实的交通交互的高保真仿真，以支持自动驾驶系统的稳健验证。

提出的方法

• 采用自动课程框架，持续生成新的、日益复杂任务，以推动智能体适应与技能习得。
• 使用SMARTS仿真器，其原生支持多智能体环境，并允许社交智能体通过与主智能体相同的API进行控制。
• 利用SMARTS中的“气泡”机制，将密集计算仅限于高交互复杂度区域（如无保护左转、环岛等）。
• 通过SMARTS社交智能体动物园集成训练好的行为模型，支持多样化架构与计算需求。
• 利用ULTRA基准——包含超过10万个无保护左转场景——作为课程种子，逐步提升复杂度与多样性。
• 通过在选择压力下协同进化智能体，实现类人水平的交互模式涌现，促进多样化且适应性强的策略。

实验结果

研究问题

• RQ1 如何设计MARL中的自动课程，以主动促进行为多样性，而非导致策略收敛至同质化？
• RQ2 MARL框架在不依赖人工编码规则的前提下，能在多大程度上在仿真中生成社会性真实且多样的驾驶行为？
• RQ3 在SMARTS等仿真器中，具备多样性意识的自动课程框架能否生成类似于现实世界驾驶现象（如“匹兹堡左转”）的交互模式？
• RQ4 在将自动课程方法扩展至支持现实世界领域中高保真、多样化社交智能体行为时，面临哪些关键技术与概念挑战？
• RQ5 如何扩展现有仿真器，以支持自动驾驶场景中多样化、智能社交智能体的训练与评估？

主要发现

• 现有自动驾驶仿真器无法有效建模多样化、智能的社交智能体行为，而是依赖于简化的基于规则的模型或真实世界轨迹的静态回放。
• SMARTS仿真器通过允许社交智能体使用与主智能体相同的控制API，原生支持多智能体交互，支持多样化策略架构。
• ULTRA基准提供超过10万个复杂、真实的无保护左转场景，适合作为多样化、渐进式自动课程的种子。
• SMARTS中的“气泡”机制通过仅在高交互区域激活密集计算，实现高效处理，使大规模多样化仿真成为可能。
• 通过协同进化与选择压力，自动课程框架能够生成涌现的、复杂的交互行为，类似于人类水平的驾驶策略。
• 具备多样性意识的自动课程对于推动MARL超越电子游戏领域、实现在自动驾驶等现实世界领域中的稳健、真实仿真至关重要。