[論文レビュー] Emergent Road Rules In Multi-Agent Driving Environments

Avik Pal, Jonah Philion+2 more|arXiv (Cornell University)|Nov 21, 2020

Traffic control and management参考文献 39被引用数 8

ひとこと要約

本論文は、ノイズのある認識と高い空間密度を持つ環境で、エージェントが目的地に素早く到着するように訓練される場合、車線維持、信号遵守、安全距離を保つといった道路のルールが、多エージェント強化学習（MARL）環境で自発的に出現することを示している。主な発見は、認識のノイズとエージェントの密度が、自発的な社会的運転行動を生じさせる鍵であるということであり、自律走行車両における交通ルールをハードコードする代替手段としてスケーラブルな手法を提供する。

ABSTRACT

For autonomous vehicles to safely share the road with human drivers, autonomous vehicles must abide by specific "road rules" that human drivers have agreed to follow. "Road rules" include rules that drivers are required to follow by law -- such as the requirement that vehicles stop at red lights -- as well as more subtle social rules -- such as the implicit designation of fast lanes on the highway. In this paper, we provide empirical evidence that suggests that -- instead of hard-coding road rules into self-driving algorithms -- a scalable alternative may be to design multi-agent environments in which road rules emerge as optimal solutions to the problem of maximizing traffic flow. We analyze what ingredients in driving environments cause the emergence of these road rules and find that two crucial factors are noisy perception and agents' spatial density. We provide qualitative and quantitative evidence of the emergence of seven social driving behaviors, ranging from obeying traffic signals to following lanes, all of which emerge from training agents to drive quickly to destinations without colliding. Our results add empirical support for the social road rules that countries worldwide have agreed on for safe, efficient driving.

研究の動機と目的

• 車線使用や信号遵守といった社会的運転ルールが、明示的にプログラムされていない状況下で強化学習から自発的に出現するかどうかを調査すること。
• 多エージェント強化学習における人間らしい運転行動の出現を可能にする環境的および設計的要因を特定すること。
• 現実的な制約を備えた最小限のMDPでエージェントを訓練することで、自律走行車両における道路ルールをハードコードする代替手段を提供すること。
• nuScenesデータセットを用いて、実世界の運転統計と整合するかを検証し、自発的行動の妥当性を確認すること。

提案手法

• エージェントは、速度と衝突回避を目的とした報酬形状を施したProximal Policy Optimization（PPO）を用いて、多エージェント強化学習（MARL）環境で訓練される。
• エージェントは、現実のセンサー制約を模倣するため、スパarsなノイズのあるLiDARセンサーを装備する。
• 環境は、認識ノイズと空間密度をコア変数として設定し、それらがルールの出現に与える影響をテストする。
• 大規模な地図上での訓練効率を向上させるために、カリキュラムベースのアプローチを検討する。
• 初期行動を制約し、早期の車線変更を防ぐためにスプラインベースのサブポリシーが使用される。これにより、学習の安定性が確保される。
• エージェントは、合成および実世界の交差点（nuScenesデータセットより抽出）で評価され、安全距離と交通ルール遵守の定量的分析が行われる。

実験結果

リサーチクエスチョン

• RQ1 多エージェントドライブシミュレータにおけるどの環境設計の選択が社会的運転ルールの出現を引き起こすか？
• RQ2 認識ノイズとエージェントの空間密度は、車線維持と信号遵守の出現にどのように影響するか？
• RQ3 強化学習で訓練されたエージェントは、安全な追従距離を保つといった人間の運転行動をどの程度再現できるか？
• RQ4 明示的な報酬形状なしで、MARL環境における自発的行動が、既存の道路ルールと一致または近似できるか？
• RQ5 安全距離の基準遵守という観点から、強化学習エージェントの性能は人間ドライバーと比べてどの程度か？

主な発見

• 提案されたMDPで訓練されたエージェントは、安全な追従距離を98.45％の割合で遵守し、人間の運転パターンと非常に近い。
• 信号遵守や車線維持といった行動の出現は、明示的な報酬形状ではなく、ノイズのある認識と高い空間密度のおかげで生じている。
• エージェントは95％の割合で歩行者との安全距離を保ち、そのほとんどが計算された安全停止距離 $\frac{v^2}{2a_{\text{max}}}$ を超えて維持している。
• 人間ドライバーの99.56％に比べやや低いが98.45％の遵守率を示しており、多数の軌道で安全距離を確保している。
• スプラインベースのサブポリシーの使用により、早期の車線変更が防止され、構造的な運転行動の安定的出現が可能になった。
• 結果から、認識ノイズと空間密度が、自律走行システムにおけるスケーラブルで人間らしい道路ルールの出現に不可欠な要因であると示唆される。