[論文レビュー] Diverse Auto-Curriculum is Critical for Successful Real-World Multiagent Learning Systems

Yaodong Yang, Jun Luo+6 more|arXiv (Cornell University)|Feb 15, 2021

Reinforcement Learning in Robotics参考文献 78被引用数 10

ひとこと要約

本論文は、特に自動運転を含む現実世界のマルチエージェント強化学習（MARL）において、多様性に配慮した自己適合カリキュラムが不可欠であると主張している。SMARTSシミュレータとULTRAベンチマークを活用することで、自己改善・共進化するポリシーを用いて、段階的に複雑化し多様化する社会的エージェント行動を生成するフレームワークを提案しており、ルールベースのモデルよりもより現実的でインタラクティブなシミュレーションを実現している。

ABSTRACT

Multiagent reinforcement learning (MARL) has achieved a remarkable amount of success in solving various types of video games. A cornerstone of this success is the auto-curriculum framework, which shapes the learning process by continually creating new challenging tasks for agents to adapt to, thereby facilitating the acquisition of new skills. In order to extend MARL methods to real-world domains outside of video games, we envision in this blue sky paper that maintaining a diversity-aware auto-curriculum is critical for successful MARL applications. Specifically, we argue that \\emph{behavioural diversity} is a pivotal, yet under-explored, component for real-world multiagent learning systems, and that significant work remains in understanding how to design a diversity-aware auto-curriculum. We list four open challenges for auto-curriculum techniques, which we believe deserve more attention from this community. Towards validating our vision, we recommend modelling realistic interactive behaviours in autonomous driving as an important test bed, and recommend the SMARTS/ULTRA benchmark.

研究の動機と目的

• 現実世界の応用におけるマルチエージェント強化学習（MARL）における行動の多様性の欠如に対処すること。
• 自律走行を、多様性に配慮したMARLフレームワークの評価に向けた重要なテストベッドとして特定すること。
• 現在のシミュレータが、行動の多様性が限られたルールベースまたはスクリプト化された社会的エージェントに依存しているという制限を克服すること。
• 共進化を通じて多様で実行可能なエージェント行動を段階的に進化させるスケーラブルな自己適合カリキュラムフレームワークを開発すること。
• 自律走行車両の妥当性検証を支援する、複雑で現実的な交通インタラクションの高精細シミュレーションを実現すること。

提案手法

• エージェントの適応とスキル習得を促進するために、継続的かつ複雑性が増す新しいタスクを生成する自己適合カリキュラムフレームワークを採用する。
• マルチエージェント環境をネイティブにサポートし、エゴエージェントと同一のAPIで社会的エージェントを制御できるSMARTSシミュレータを用いる。
• SMARTSにおける「バブル」メカニズムを活用し、高相互作用複雑性領域（例：片側進入のない左折、円形交差点）に限定して計算を集中させることで、計算を効率化する。
• SMARTSの社会的エージェントズーを介して訓練済みの行動モデルを統合し、多様なアーキテクチャと計算要件をサポートする。
• 10万件を超える未保護左折シナリオを含むULTRAベンチマークを活用し、複雑性と多様性が段階的に増すカリキュラムを形成する。
• 選択圧を受けるエージェントの共進化を通じて、人間レベルのインタラクションパターンが自己生成され、多様で適応的な戦略が促進される。

実験結果

リサーチクエスチョン

• RQ1 MARLにおける自己適合カリキュラムは、均一なポリシーへの収束を避けるために、どのようにして行動の多様性を能動的に促進できるか？
• RQ2 手動でコーディングされたルールに依存せずに、MARLフレームワークはシミュレーション内で社会的に現実的で多様な運転行動をどの程度生成できるか？
• RQ3 SMARTSのようなシミュレータにおいて、多様性に配慮した自己適合カリキュラムフレームワークは、ピッツバーグ・レフトのような現実世界の運転現象に類似したインタラクションパターンを生成できるか？
• RQ4 高精細で多様な社会的エージェント行動を現実世界の分野でサポートするための自己適合カリキュラム手法をスケーリングするにあたり、どのような技術的・概念的課題があるか？
• RQ5 既存のシミュレータは、自動運転のための多様で知的な社会的エージェントの訓練と評価をサポートするために、どのように拡張可能か？

主な発見

• 現行の自動運転用シミュレータは、多様で知的な社会的エージェント行動をモデル化できず、単純なルールベースのモデルや現実世界の軌道の再再生に依存している。
• SMARTSシミュレータは、エゴエージェントと同一の制御APIを社会的エージェントが使用できるため、ネイティブにマルチエージェント相互作用を実現でき、多様なポリシー・アーキテクチャをサポートする。
• ULTRAベンチマークは、10万件を超える複雑で現実的な未保護左折シナリオを提供し、多様で段階的な自己適合カリキュラムの種を形成するのに適している。
• SMARTSにおける「バブル」メカニズムにより、高相互作用ゾーンでのみ計算を集中させることで、大規模で多様なシミュレーションが現実可能になる。
• 共進化と選択圧の下で、自己適合カリキュラムフレームワークは、人間レベルの運転戦略に類似した自己生成的で洗練されたインタラクション行動を生成できる。
• 多様性に配慮した自己適合カリキュラムは、ビデオゲームを越えて現実世界の分野（例：自動運転）におけるMARLの発展を可能にするために不可欠である。