[論文レビュー] SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving

Ming Zhou, Jun Luo+35 more|arXiv (Cornell University)|Oct 19, 2020

Reinforcement Learning in Robotics参考文献 49被引用数 104

ひとこと要約

SMARTS は、現実的で多様なエージェント相互作用をシミュレートし、ベンチマーク、シナリオ、評価指標を提供することで、自動運転のスケーラブルなマルチエージェント強化学習（MARL）を可能にするオープンソースプラットフォームです。

ABSTRACT

Multi-agent interaction is a fundamental aspect of autonomous driving in the real world. Despite more than a decade of research and development, the problem of how to competently interact with diverse road users in diverse scenarios remains largely unsolved. Learning methods have much to offer towards solving this problem. But they require a realistic multi-agent simulator that generates diverse and competent driving interactions. To meet this need, we develop a dedicated simulation platform called SMARTS (Scalable Multi-Agent RL Training School). SMARTS supports the training, accumulation, and use of diverse behavior models of road users. These are in turn used to create increasingly more realistic and diverse interactions that enable deeper and broader research on multi-agent interaction. In this paper, we describe the design goals of SMARTS, explain its basic architecture and its key features, and illustrate its use through concrete multi-agent experiments on interactive scenarios. We open-source the SMARTS platform and the associated benchmark tasks and evaluation metrics to encourage and empower research on multi-agent learning for autonomous driving. Our code is available at https://github.com/huawei-noah/SMARTS.

研究の動機と目的

• 現実的で多様なマルチエージェント相互作用が自動運転（AD）に必要であることを動機づける。
• SMARTS の設計目標とADにおけるスケーラブルMARL研究を支えるアーキテクチャを説明する。
• ソーシャルエージェントのブートストラップとモジュール式で拡張可能なシミュレーションフレームワークを導入する。
• MARLに適した観測・行動・報酬のインターフェースとベンチマークスイートを提供する。
• 進行的に難易度が上がる適応運転シナリオを横断してMARLの実験結果を示す。

提案手法

• 泡（bubbles）を用いて相互作用領域を管理し、社会エージェントにまたがる計算をスケールするバブルベースの組成アーキテクチャを提案する。
• シナリオをマップ、ルート、車両、フローで構成するドメイン固有言語（DSL）を使用し、泡を介して Social Agent Zoo エージェントに制御を引き渡す。
• 分散学習フレームワーク（Ray、RLlib）および MARL ライブラリ（PyMARL、MAlib）と統合し、CTDEとネットワーク化エージェント学習をサポートする。
• ego と social の異種エージェントを柔軟な観測・行動空間、さまざまなコントローラ、設定可能な報酬信号でサポートする。
• AD 専用の指標を備えたベンチマークスイートを提供し、パフォーマンス、振る舞い、ゲーム理論的特性を捉える。

実験結果

リサーチクエスチョン

• RQ1 MARLを現実的で都市規模の交通相互作用へと効果的にスケールさせるにはどうすればよいか？
• RQ2 どの社会エージェントと学習戦略の組み合わせが、多様なシナリオで堅牢で安全かつ効率的なマルチエージェント運転挙動を生み出すか？
• RQ3 異なる MARL パラダイム（CTDE、ネットワーク型学習）は複雑な運転相互作用でどのように比較されるか？
• RQ4 SMARTS は意味のある自動運転関連の評価指標を備えた再現性の高い拡張可能なベンチマークスイートを提供できるか？
• RQ5 シナリオの構成と bubble ベースの引き渡しがトレーニング効率と方針性能に与える影響は何か？

主な発見

• SMARTS は多様で現実的なソーシャルエージェントとモジュール型プロバイダを備えた、スケーラブルなマルチエージェント運転シミュレーションを可能にする。
• CTDE を含む幅広い MARL アルゴリズムが、ベンチマークスイートと AD 専用指標を用いて SMARTS 内で評価できる。
• 双方向交通、二重合流、信号なし交差点を含む実験は、ベースライン間で異なる性能と挙動を示し、複雑なタスクでのエージェント間情報共有の利点を浮き彫りにする（例：IntersectionでMADDPGが良好に機能）。
• バブル機構と Social Agent Zoo は相互作用領域を局所化し計算を分散させることで、スケーラブルでターゲットを絞ったトレーニングと評価をサポートする。
• プラットフォームは RLlib および MARL ライブラリと統合され、OpenAI Gym 風 API、可視化、および観測・行動・報酬インターフェースの包括的なセットを提供する。