[論文レビュー] Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning

Yuankai Wu, Huachun Tan+1 more|arXiv (Cornell University)|Oct 25, 2018

Traffic control and management参考文献 7被引用数 18

ひとこと要約

本論文は、新規のアクター・クリティックアーキテクチャを用いて、高速道路のレーンごとに異なる速度制限を動的に割り当てる、深層強化学習（DRL）に基づく微分変動速度制限（DVSL）制御システムを提案する。この手法は、連続的アクション空間で最適な速度制限ポリシーを学習することで、交通効率、安全性、排出削減を向上させ、複数の報酬信号を用いて訓練されたDDPGモデルが、高密度な自動運転車両（CAV）シミュレーション環境において、静的または均一なVSL戦略を上回る優れた性能を示す。

ABSTRACT

Variable speed limits (VSL) control is a flexible way to improve traffic condition,increase safety and reduce emission. There is an emerging trend of using reinforcement learning technique for VSL control and recent studies have shown promising results. Currently, deep learning is enabling reinforcement learning to develope autonomous control agents for problems that were previously intractable. In this paper, we propose a more effective deep reinforcement learning (DRL) model for differential variable speed limits (DVSL) control, in which the dynamic and different speed limits among lanes can be imposed. The proposed DRL models use a novel actor-critic architecture which can learn a large number of discrete speed limits in a continues action space. Different reward signals, e.g. total travel time, bottleneck speed, emergency braking, and vehicular emission are used to train the DVSL controller, and comparison between these reward signals are conducted. We test proposed DRL baased DVSL controllers on a simulated freeway recurrent bottleneck. Results show that the efficiency, safety and emissions can be improved by the proposed method. We also show some interesting findings through the visulization of the control policies generated from DRL models.

研究の動機と目的

• 再発性の高速道路混雑部を緩和するために、データ駆動型で適応的なDVSL制御戦略を開発し、複数のレーンにわたり速度制限を動的に調整すること。
• ルールベースや予測依存のVSLシステムの限界を克服し、プロアクティブでリアルタイムな制御を実現するため、深層強化学習を活用すること。
• 旅行時間、安全性、排出量といった異なる報酬信号が、DRLベースのDVSLコントローラーの性能および解釈可能性に与える影響を評価すること。
• 合流領域の交通状況に応じた速度制限応答の可視化を通じて、DRLポリシーの解釈可能性を向上させること。
• 自動運転車両の浸透率が非常に高い環境下で、DVSLの実現可能性と有効性を実証すること。この環境では、車両の準拠率がほぼ100％に達すると想定される。

提案手法

• 複数のレーンにおける微分速度制限のための連続的アクション空間ポリシーを学習するために、深層決定的方策勾配（DDPG）のアクター・クリティックフレームワークを用いる。
• 状態表現には、上流部、合流領域、ランプの交通占有率が含まれており、エージェントが局所的な混雑ダイナミクスを把握できるようにする。
• DRLエージェントは、合計旅行時間、混雑部の速度、緊急ブレーキ頻度、車両排出量の4つの異なる報酬信号を用いて訓練される。
• ニューラルネットワークベースのアクターが、交通状態入力に応じてレーン別に速度制限を生成し、動的かつ非均一な速度制御を可能にする。
• 合流領域の占有率を変化させた状態入力をシミュレートし、それに応じた速度制限出力を観察することで、ポリシーの解釈可能性を分析する。
• 高精細な再発性高速道路混雑部のシミュレーション環境下でフレームワークを評価し、動的速度制限の正確な実装を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのDVSLコントローラーは、静的または均一なVSL戦略と比較して、混雑の低減と交通効率の向上にどの程度寄与するか？
• RQ2 旅行時間、安全性、排出量といった異なる報酬関数が、DRLエージェントの性能およびポリシー構造に与える影響は何か？
• RQ3 自由流れ状態下でも、DRLエージェントは複数のレーンに異なる速度制限を割り当てることができるか？ これは交通相互作用の緩和にどのような意味を持つのか？
• RQ4 学習されたDVSLポリシーはどの程度解釈可能か？ また、どの報酬信号が最も透明で論理的に整合性のある制御行動をもたらすか？
• RQ5 高CAV浸透環境下で、DVSL制御は緊急ブレーキイベントおよび車両排出量をどの程度低減できるか？

主な発見

• DRLベースのDVSLコントローラーは、静的および均一なVSL戦略を著しく上回り、合計旅行時間の低減が、すべての報酬ベースのモデルで確認された。
• DDPG- $ r^1 $ モデル（合計旅行時間で訓練）は、最も解釈可能で論理的に整合性のある速度制限ポリシーを生成し、左端レーンでは高い速度を維持し、合流領域の占有率が20％を超えた場合にのみ中央レーンの制限を低下させた。
• すべてのDRLベースのDVSLモデルは、ベースライン戦略と比較して緊急ブレーキイベントと車両排出量を低減した。これは、安全性と環境的利点の向上を示している。
• 速度制限ポリシーの相関分析から、単純な報酬信号（例：$ r^1 $）で訓練されたモデルは、複雑な多目的報酬を用いたモデルと比較して、より一貫性があり予測可能な制御行動を示した。
• ニューラルネットワークエージェントは、混雑が発生する前から流入リスクの高いレーンの速度制限をプロアクティブに低下させることを学習し、プロアクティブ制御の能力を示した。
• 可視化により、DVSLポリシーが合流領域の占有率に敏感であることが判明。左端レーンは一貫して高い速度を維持されており、これはレーン変更の衝突を効果的に緩和していることを示唆している。