[論文レビュー] Microscopic Traffic Simulation by Cooperative Multi-agent Deep Reinforcement Learning

Giulio Bacchiani, Daniele Molinari+1 more|arXiv (Cornell University)|Mar 4, 2019

Traffic control and management参考文献 31被引用数 11

ひとこと要約

本論文は、視覚的情報と設定可能なドライブスタイルパラメータを用いて、交差点通過などの現実的な運転行動をモデル化する協調的マルチエージェント深層強化学習フレームワークを提案する。この手法は非同期アドバンテージアクターキャリブレーター（A3C）をマルチエージェント設定に拡張し、複雑な操作において高い成功確率を達成しており、アクションの繰り返しと調整可能な攻撃的・速度プロファイルを用いることで安定した学習が実現されている。

ABSTRACT

Expert human drivers perform actions relying on traffic laws and their previous experience. While traffic laws are easily embedded into an artificial brain, modeling human complex behaviors which come from past experience is a more challenging task. One of these behaviors is the capability of communicating intentions and negotiating the right of way through driving actions, as when a driver is entering a crowded roundabout and observes other cars movements to guess the best time to merge in. In addition, each driver has its own unique driving style, which is conditioned by both its personal characteristics, such as age and quality of sight, and external factors, such as being late or in a bad mood. For these reasons, the interaction between different drivers is not trivial to simulate in a realistic manner. In this paper, this problem is addressed by developing a microscopic simulator using a Deep Reinforcement Learning Algorithm based on a combination of visual frames, representing the perception around the vehicle, and a vector of numerical parameters. In particular, the algorithm called Asynchronous Advantage Actor-Critic has been extended to a multi-agent scenario in which every agent needs to learn to interact with other similar agents. Moreover, the model includes a novel architecture such that the driving style of each vehicle is adjustable by tuning some of its input parameters, permitting to simulate drivers with different levels of aggressiveness and desired cruising speeds.

研究の動機と目的

• 人間らしい運転行動の相互作用、特に意思の伝達と優先権の交渉をリアルにモデル化する微視的交通シミュレータの開発。
• 動的交渉や行動の適応性に欠けるルールベースのシミュレータの限界を是正すること。
• 合成的で学習ベースの環境を用いて、自律走行車両モジュールの高レベルな操作の訓練を可能にすること。
• 攻撃的・希望速度などの個別化されたドライブスタイルを、調整可能な入力パラメータを通じて組み込むこと。
• アクションの繰り返しを用いたマルチインスタンス学習の有効性を評価し、学習の安定性とパフォーランス向上に寄与するか。

提案手法

• 各車両が独立的だが協力的なエージェントとして機能するマルチエージェント設定に、非同期アドバンテージアクターキャリブレーター（A3C）アルゴリズムを拡張する。
• 視覚フレーム（環境のセマンティックセグメンテーション）と数値状態ベクトル（例：速度、距離）を組み合わせたハイブリッド観測入力を使用する。
• ドライブスタイルのチューニングが可能なスカラーパラメータを備えた新規アーキテクチャを導入し、多様な運転行動のシミュレーションを可能にする。
• マルチインスタンス環境における学習の安定化を図るため、アクションの繰り返しを採用する。
• 密集した交通状況下のシミュレートされた円形交差点環境でエージェントを訓練し、タスク完了（例：正常な合流）に基づくスパarsely dense報酬を用いる。
• 複数の環境インスタンスを非同期にトレーニングすることで、ポリシーの安定性を保ちながら学習を加速する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント深層強化学習フレームワークは、複雑な交通状況における優先権交渉などの協調的運転行動を効果的にシミュレートできるか？
• RQ2 アクションの繰り返しは、交通シミュレーションにおけるマルチエージェントDRLの学習安定性とパフォーランスにどのように影響するか？
• RQ3 攻撃的・速度の変動性といったドライブスタイルの多様性は、入力パラメータのチューニングによってどの程度モデル化・制御可能か？
• RQ4 収束性とパフォーマンスの観点から、マルチインスタンス学習は単一インスタンス学習と比較してどの程度優れているか？
• RQ5 硬直的なルールが設定されていない状況でも、車両が人間の行動を模倣して交渉を行うことができるか、シミュレータの汎用性はどの程度か？

主な発見

• マルチエージェントA3Cフレームワークは、混雑した円形交差点への合流といった複雑な操作を高い成功率で学習した。
• アクションの繰り返しは、特にマルチインスタンス環境において学習を著しく安定化させ、収束を早め、パフォーマンスを向上させた。
• 安全運転行動が強制された状況では、モデルがほぼ最適な成功比（1.0に近い）を達成したが、完全に衝突が排除されたわけではない。
• アクションの繰り返しを導入しないと、マルチインスタンス学習は収束しなかったため、この設定ではアクションの繰り返しが安定性の観点で不可欠であることが示された。
• ドライブスタイルを制御するスカラーパラメータの導入により、エージェント行動の有効な制御が可能となり、多様な運転パーソナリティのシミュレーションが可能になった。
• シミュレータは、時折の衝突を含む現実的で協力的でない行動パターンを示しており、高レベルの自律性モジュールの訓練に耐性を高める要因となった。