[論文レビュー] Centralized Conflict-free Cooperation for Connected and Automated Vehicles at Intersections by Proximal Policy Optimization.

Yang Guan, Yangang Ren+5 more|arXiv (Cornell University)|Dec 18, 2019

Traffic control and management被引用数 6

ひとこと要約

本稿では、モデル加速型プロキシマル・ポリシー最適化（MA-PPO）アルゴリズムを用いて、信号のない交差点における連結・自動運転車両の集中型強化学習ベースの協調手法を提案する。PPOに事前モデルを統合し、状態・行動・報酬をカスタム設計したマルコフ意思決定過程として軌道最適化を定式化することで、オフライン学習を経て衝突のない交通流と向上した交差点効率を実現する。

ABSTRACT

Connected vehicles will change the modes of future transportation management and organization, especially at intersections. There are mainly two categories coordination methods at unsignalized intersection, i.e. centralized and distributed methods. Centralized coordination methods need huge computation resources since they own a centralized controller to optimize the trajectories for all approaching vehicles, while in distributed methods each approaching vehicles owns an individual controller to optimize the trajectory considering the motion information and the conflict relationship with its neighboring vehicles, which avoids huge computation but needs sophisticated manual design. In this paper, we propose a centralized conflict-free cooperation method for multiple connected vehicles at unsignalized intersection using reinforcement learning (RL) to address computation burden naturally by training offline. We firstly incorporate a prior model into proximal policy optimization (PPO) algorithm to accelerate learning process. Then we present the design of state, action and reward to formulate centralized cooperation as RL problem. Finally, we train a coordinate policy by our model-accelerated PPO (MA-PPO) in a simulation setting and analyze results. Results show that the method we propose improves the traffic efficiency of the intersection on the premise of ensuring no collision.

研究の動機と目的

• 信号のない交差点における連結車両システムにおける集中型協調の高コストな計算負荷を軽減すること。
• 分散型手法における手動設計への依存を減らすために、強化学習を活用して自動的に軌道最適化を実現すること。
• 衝突のない車両協調を保証しながら、交差点における交通効率を向上させること。
• PPOアルゴリズムに事前モデルを統合することで、深層強化学習の学習を加速すること。

提案手法

• 本手法は、集中型車両協調をマルコフ意思決定過程として定式化し、複数車両の軌道最適化のための状態・行動・報酬の構成を定義する。
• PPOアルゴリズムに事前モデルを組み込んで、学習収束を加速する。
• MA-PPOアルゴリズムは、シミュレーション環境でオフラインに学習させ、衝突のない車両通過のための協調ポリシーを学習する。
• 状態表現には、車両の位置、速度、および周辺車両との衝突関係が含まれる。
• 行動空間は、各車両の衝突回避のための軌道調整（例：速度変更）を定義する。
• 報酬関数は、適切な通過タイミングを促進するとともに、衝突と過度の減速に対してペナルティを与えるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 集中型強化学習アプローチは、信号のない交差点において複数の連結車両を衝突のない形で効果的に協調できるか？
• RQ2 PPOに事前モデルを統合することで、車両協調タスクにおける学習効率はどのように向上するか？
• RQ3 提案手法は、従来の方法と比較して、交差点の交通効率をどの程度向上させるか？
• RQ4 設計された状態・行動・報酬構成は、学習プロセスの安定性と収束性にどのような影響を及えるか？

主な発見

• 提案されたMA-PPO手法は、信号のない交差点における衝突のない車両通過のための協調ポリシーを効果的に学習した。
• PPOに事前モデルを統合することで、オフライン学習中の学習プロセスが顕著に加速された。
• 交差点における交通効率が向上し、車両の遅延が減少し、滑らかな交通流が実現された。
• 報酬関数の設計により、安全と効率のバランスが適切に確保され、不要な減速が最小限に抑えられ、衝突が防止された。
• シミュレーション結果から、集中型アプローチが複数車両のスケーラブルな協調を維持しながら高い性能を発揮することが確認された。