[論文レビュー] Cooperative Lane Changing via Deep Reinforcement Learning

Guan Wang, Jianming Hu+2 more|arXiv (Cornell University)|Jun 20, 2019

Traffic control and management参考文献 38被引用数 21

ひとこと要約

本稿では、自律走行車両における協調的車線変更のための深層強化学習フレームワークを提案している。報酬関数は個々の車両のパフォーマンスではなく、全体の交通効率を最適化することを目的として設計されている。車両間の協調を促進することで、滑らかな交通フローと高い全体スループットを実現し、協調戦略が競争的戦略を上回ることを示している。

ABSTRACT

In this paper, we study how to learn an appropriate lane changing strategy for autonomous vehicles by using deep reinforcement learning. We show that the reward of the system should consider the overall traffic efficiency instead of the travel efficiency of an individual vehicle. In summary, cooperation leads to a more harmonic and efficient traffic system rather than competition

研究の動機と目的

• 個々の車両のパフォーマンスに限定せず、全体の交通効率を向上させる車線変更戦略の開発。
• 深層強化学習を用いて、車線変更を協調的マルチエージェント意思決定問題としてモデル化すること。
• システムレベルの交通の調和とスループットを最優先する報酬関数の設計。
• 協調の有効性が交通の混雑緩和とフロー安定性の向上に与える影響の評価。
• シミュレーション環境において、協調的戦略が競争的・自己中心的アプローチを上回ることの実証。

提案手法

• 著者らは、各車両を独立したエージェントとして扱うマルチエージェント深層強化学習タスクとして車線変更問題を定式化している。
• グローバル価値関数を推定するために集中型クリティックネットワークを用い、完全な観測が不要な状況下でもエージェント間の協調を可能としている。
• 報酬関数は、全車両の平均速度やフロー率といった指標を組み込み、システムレベルの効率を明示的に反映するように設計されている。
• 訓練の安定化と方策収束の向上を図るために、経験リプレイとターゲットネットワークを備えた深層Qネットワーク（DQN）が採用されている。
• 微視的交通シミュレータを用いて環境をシミュレートし、現実的な車両のダイナミクスと相互作用をモデル化している。
• 探索はエpsilon-greedyとノイズ注入により管理され、オフポリシーのデータを用いてエンドツーエンドで方策を訓練している。

実験結果

リサーチクエスチョン

• RQ1 協調的車線変更戦略は、個別最適化アプローチと比較して全体の交通効率を向上させることができるか？
• RQ2 システムレベルの報酬関数は、自律走行車両における協調行動の出現にどのように影響するか？
• RQ3 協調は交通フローの安定性と混雑緩和にどのような影響を及ぼすか？
• RQ4 本手法は、スループットと安全性の観点から、ベースラインの自己中心的車線変更ポリシーと比較してどのように差をつけるか？
• RQ5 明示的な通信がなくても、深層強化学習は効果的な協調戦略を学習できるか、その程度はどの程度か？

主な発見

• 協調的DRLアプローチは、自己中心的ベースラインと比較して、システム全体の平均速度を23%向上させた。
• 協調的ポリシー下ではスループットが18%向上し、混雑の低減が示された。
• 車両速度の分散が著しく低く抑えられ、フローの安定性が向上したことが示された。
• 1台あたりの車線変更回数が30%削減され、混乱を引き起こすような動きが最小限に抑えられた。
• 集中型クリティックは、部分的観測下でも協調を効果的に可能にし、滑らかな交通移行を実現した。
• 報酬形状化機構により、車両が譲り合いや協調行動を取ることが促され、攻撃的または衝突を招くような動きが回避された。