[論文レビュー] A DRL-based Multiagent Cooperative Control Framework for CAV Networks: a Graphic Convolution Q Network

Jiqian Dong, Sikai Chen+3 more|arXiv (Cornell University)|Oct 12, 2020

Autonomous Vehicle Technology and Safety参考文献 25被引用数 39

ひとこと要約

この論文は、協調センサリングと Graphic Convolution Q Network (GCQ) を統合する DRL ベースのフレームワークを提案し、複数の CAV に対する安全で協調的な車線変更意思決定を実現し、集中型 RSU/クラウド展開に適しています。

ABSTRACT

Connected Autonomous Vehicle (CAV) Network can be defined as a collection of CAVs operating at different locations on a multilane corridor, which provides a platform to facilitate the dissemination of operational information as well as control instructions. Cooperation is crucial in CAV operating systems since it can greatly enhance operation in terms of safety and mobility, and high-level cooperation between CAVs can be expected by jointly plan and control within CAV network. However, due to the highly dynamic and combinatory nature such as dynamic number of agents (CAVs) and exponentially growing joint action space in a multiagent driving task, achieving cooperative control is NP hard and cannot be governed by any simple rule-based methods. In addition, existing literature contains abundant information on autonomous driving's sensing technology and control logic but relatively little guidance on how to fuse the information acquired from collaborative sensing and build decision processor on top of fused information. In this paper, a novel Deep Reinforcement Learning (DRL) based approach combining Graphic Convolution Neural Network (GCN) and Deep Q Network (DQN), namely Graphic Convolution Q network (GCQ) is proposed as the information fusion module and decision processor. The proposed model can aggregate the information acquired from collaborative sensing and output safe and cooperative lane changing decisions for multiple CAVs so that individual intention can be satisfied even under a highly dynamic and partially observed mixed traffic. The proposed algorithm can be deployed on centralized control infrastructures such as road-side units (RSU) or cloud platforms to improve the CAV operation.

研究の動機と目的

• エージェント数が動的に変化し、結合行動空間が大きい CAV ネットワークにおける協調制御の必要性に対処する。
• 協調センサリングからの情報を融合して、安全で協調的な動作を実現する意思決定プロセッサを開発する。
• 混合した部分的に観測される交通において CAV の動作を改善するために、RSU またはクラウドでの集中展開を可能にする。

提案手法

• 情報融合と意思決定モジュールとして Graphic Convolution Q network (GCQ) を導入する。
• Graphic Convolutional Neural Networks を Deep Q-Networks と組み合わせて、融合されたセンサデータを処理する。
• 高度に動的で部分的に観測された交通を処理して協調的な車線変更意思決定を生成する。
• RSU またはクラウド展開に適した集中制御フレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 協調センサニングデータを効果的に融合して、複数の CAV に対する協調的意思決定を支えるにはどうすればよいか？
• RQ2 GCQ ベースの DRL フレームワークは、変動するエージェント数と部分的に観測された環境に対してスケールするか？
• RQ3 集中制御下で動的な交通のもと、車線変更の意思決定の品質と安全性の特性はどれだけ達成できるか？

主な発見

• GCQ は協調センサリングから情報を集約して、安全で協調的な車線変更意思決定を生み出す。
• このフレームワークは、非常に動的で部分的に観測された交通環境下でも個々の車両の意図を満たすことを目指す。
• このアプローチは RSU やクラウドプラットフォームなどの集中型インフラストラクチャへの展開を想定し、CAV の運用を改善するよう設計されている。