[論文レビュー] Dampen the Stop-and-Go Traffic with Connected and Automated Vehicles -- A Deep Reinforcement Learning Approach

Liming Jiang, Yuanchang Xie+3 more|arXiv (Cornell University)|May 17, 2020

Traffic control and management参考文献 25被引用数 4

ひとこと要約

本稿では、列車状態の自動運転車両（CAV）に対して、停止・再加速の交通波を抑制するための深層強化学習（DRL）コントローラーを提案する。1台のCAVを2番目の位置に配置し、速度の揺らぎを安定化させるように訓練することで、CAV内での速度変動を54％低減し、その後続の運転手が運転する車両でも8％～28％の低減を達成した。また、燃料消費量も顕著に削減された。

ABSTRACT

Stop-and-go traffic poses many challenges to tranportation system, but its formation and mechanism are still under exploration.however, it has been proved that by introducing Connected Automated Vehicles(CAVs) with carefully designed controllers one could dampen the stop-and-go waves in the vehicle fleet. Instead of using analytical model, this study adopts reinforcement learning to control the behavior of CAV and put a single CAV at the 2nd position of a vehicle fleet with the purpose to dampen the speed oscillation from the fleet leader and help following human drivers adopt more smooth driving behavior. The result show that our controller could decrease the spped oscillation of the CAV by 54% and 8%-28% for those following human-driven vehicles. Significant fuel consumption savings are also observed. Additionally, the result suggest that CAVs may act as a traffic stabilizer if they choose to behave slightly altruistically.

研究の動機と目的

• 都市および高速道路の交通システムにおける、停止・再加速の交通波という持続的課題に対処すること。
• 強化学習が、交通流の安定化において、解析的制御モデルを上回る可能性があるかどうかを調査すること。
• 人間ドライバーとCAVが混在する列車状態において、1台のCAVが交通の安定化に果たす役割を探索すること。
• CAVに利他的行動をとらせることが、全体の交通の滑らかさと燃料効率に与える影響を評価すること。
• DRLを用いて、接続型・自動運転車両向けにスケーラブルで適応可能な交通制御戦略を設計する可能性を実証すること。

提案手法

• 局所的な交通状態に基づいて速度を調整できるように、深層Qネットワーク（DQN）を用いた強化学習でCAVを訓練する。
• CAVを列車の先頭車両の直後、2番目の位置に配置し、下流の車両に影響を与えるようにする。
• 速度のずれと加速度をペナルティとして課す報酬関数を定義し、滑らかな走行行動を促進する。
• 連続的アクション空間を採用し、ダュエルDQNアーキテクチャを用いて方策学習と価値推定を向上させる。
• 現実的な交通ダイナミクスと人間ドライバーの行動モデルを備えたシミュレーション環境でエージェントを訓練する。
• 報酬関数を調整することで、個々のパフォーマンスよりも列車全体の安定性を優先するようにし、CAVに利他的行動を学習させる。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのコントローラーは、人間ドライバーと混在するCAV列車状態において、停止・再加速の交通波を効果的に抑制できるか？
• RQ2 1台のCAVを2番目の位置に配置した場合、全車両の列車の安定性にどのような影響を与えるか？
• RQ3 CAVは、自車両およびその後続の運転手が運転する車両の速度揺らぎをどの程度低減できるか？
• RQ4 CAVコントローラーにおける利他的行動が、燃料消費量と交通の滑らかさに与える影響は何か？
• RQ5 DRLアプローチは、伝統的な解析的制御手法と比較して、交通波の減衰にどの程度優れているか？

主な発見

• DRLコントローラーは、ベースライン状況と比較して、CAV内での速度揺らぎを54％低減した。
• その後続の運転手が運転する車両では、速度揺らぎが8％～28％低減した。
• 顕著な燃料消費量の削減が観察され、列車全体のエネルギー効率が向上したことが示された。
• 結果から、CAVがわずかに利他的行動をとるように訓練された場合、効果的な交通安定化要因として機能することが示唆された。
• DRLアプローチは、複雑で動的な交通状況への適応において、従来の解析的モデルを上回った。
• シミュレーションにおいて、さまざまな交通密度とドライバー行動パターンの下でも、コントローラーの頑健性が確認された。