[論文レビュー] Learning to Simulate Self-Driven Particles System with Coordinated Policy Optimization

Zhenghao Peng, Quanyi Li+3 more|arXiv (Cornell University)|Oct 26, 2021

Autonomous Vehicle Technology and Safety参考文献 58被引用数 28

ひとこと要約

CoPO は、個体報酬と近傍報酬を learned social preferences とブレンドする bi-level coordination によって自己駆動粒子系のマルチエージェントコントローラを訓練し、より安全で効率的な traffic-like emergent behaviors を生み出します。

ABSTRACT

Self-Driven Particles (SDP) describe a category of multi-agent systems common in everyday life, such as flocking birds and traffic flows. In a SDP system, each agent pursues its own goal and constantly changes its cooperative or competitive behaviors with its nearby agents. Manually designing the controllers for such SDP system is time-consuming, while the resulting emergent behaviors are often not realistic nor generalizable. Thus the realistic simulation of SDP systems remains challenging. Reinforcement learning provides an appealing alternative for automating the development of the controller for SDP. However, previous multi-agent reinforcement learning (MARL) methods define the agents to be teammates or enemies before hand, which fail to capture the essence of SDP where the role of each agent varies to be cooperative or competitive even within one episode. To simulate SDP with MARL, a key challenge is to coordinate agents' behaviors while still maximizing individual objectives. Taking traffic simulation as the testing bed, in this work we develop a novel MARL method called Coordinated Policy Optimization (CoPO), which incorporates social psychology principle to learn neural controller for SDP. Experiments show that the proposed method can achieve superior performance compared to MARL baselines in various metrics. Noticeably the trained vehicles exhibit complex and diverse social behaviors that improve performance and safety of the population as a whole. Demo video and source code are available at: https://decisionforce.github.io/CoPO/

研究の動機と目的

• Self-Driven Particles (SDP) を現実的にシミュレーションする動機づけ。エージェントは自己利益を追求すると同時に動的に協力/競合する。
• 連続アクション空間で自己利益を持つエージェントを協調させるMARL手法の開発。
• 局所的およびグローバルな協調を可能にする社会心理学の原理を取り入れ、集団性能を向上させる。
• 現実的な traffic- style SDP 環境で手法をデモンストレーションし、 Emergent social behaviors を分析する。

提案手法

• SDP を個別報酬と局所相互作用を持つ分散型部分観測型マルコフ決定過程 (Dec-POMDPs) としてモデル化する。
• Local Coordination Factor (LCF) φ を導入し、エージェントの社会的価値指向を符号化し半径 dn 内で neighborhood reward を計算する。
• coordinated reward r_i^C,t = cos(φ) r_i,t + sin(φ) r_i^N,t を定義し、自己と近傍の効用を混合する。
• 二階層の目的で訓練する： (i) 局所協調は coordinated advantage A^C_{Φ,i,t} を用いて、 (ii) global 協調はグローバル目的 J^G に整合する bi-level 最適化。
• メタ勾配ベースのグローバル協調を用いて LCF 分布 Φ を最適化し、最良の社会的嗜好の自動探索を可能にする。
• 中央集権的な訓練/分散実行フレームワークの下で、4 つの共有ニューラルネットワーク（方策、個別価値、近隣価値、グローバル価値）を採用する。
• 連続行動に対して最良の中央化 critic 変種として Mean Field w/ CF 設計によって安定化された Mean Field 的な近傍入力を用いる。

実験結果

リサーチクエスチョン

• RQ1 CoPO は連続行動 MARL において SDP のような交通環境で独立した PPO および他のベースラインよりも優れているか？
• RQ2 局所的な社会協調と学習されたグローバル協調を取り入れることで、成功率・効率・安全性などの集団レベル指標が改善されるか？
• RQ3 複雑な交通シナリオで CoPO 学習集団から生じる emergent social behaviors とは何か？
• RQ4 補助的に、エージェント数の異なる状況での一般化の堅牢性には global coordination via meta-learning が必要か？

主な発見

• CoPO は five つの交通環境で、IPO、MFPO、および CL のベースラインより平均成功率が高い。
• 最も難しい Intersection 環境で、CoPO はベースラインを大幅に上回り、複雑な相互作用下での協調が改善されている。
• CoPO は安全性を向上させ、重大な故障を減少させ、より安全で協調的な交通流を生み出す。
• 学習された集団は、多様な社会的行動（譲り、並列待機、逆走）を示し、渋滞・衝突を緩和する新たな協調を生み出す。
• アブレーション研究は、中核的 MF ベースの批評家が単純な Concat や CF 変種よりも安定しており、学習された LC F 分布によるグローバル協調が固定またはランダムな LCF 設定よりも優れていることを示す。