[論文レビュー] Cooperative Highway Work Zone Merge Control based on Reinforcement Learning in A Connected and Automated Environment

Tianzhu Ren, Yuanchang Xie+1 more|arXiv (Cornell University)|Jan 21, 2020

Traffic control and management参考文献 21被引用数 5

ひとこと要約

本稿では、コネクテッドおよび自動運転車両環境における高速道路工事区域における強化学習に基づく協調合流制御戦略を提案する。オフポリシーのソフトアクターシステム（SAC）RLを用いて、閉鎖されたレーンの車両はリアルタイムの交通データを活用して安全に合流する最適な位置に自己位置を調整するのを学習する。一方、開放レーンに設けられた2つのメーター制御ゾーンが合流効率を向上させる。この手法は、移動性および安全性の面で従来の遅延合流および早期合流戦略を著しく上回る。

ABSTRACT

Given the aging infrastructure and the anticipated growing number of highway work zones in the United States, it is important to investigate work zone merge control, which is critical for improving work zone safety and capacity. This paper proposes and evaluates a novel highway work zone merge control strategy based on cooperative driving behavior enabled by artificial intelligence. The proposed method assumes that all vehicles are fully automated, connected and cooperative. It inserts two metering zones in the open lane to make space for merging vehicles in the closed lane. In addition, each vehicle in the closed lane learns how to optimally adjust its longitudinal position to find a safe gap in the open lane using an off-policy soft actor critic (SAC) reinforcement learning (RL) algorithm, considering the traffic conditions in its surrounding. The learning results are captured in convolutional neural networks and used to control individual vehicles in the testing phase. By adding the metering zones and taking the locations, speeds, and accelerations of surrounding vehicles into account, cooperation among vehicles is implicitly considered. This RL-based model is trained and evaluated using a microscopic traffic simulator. The results show that this cooperative RL-based merge control significantly outperforms popular strategies such as late merge and early merge in terms of both mobility and safety measures.

研究の動機と目的

• 高齢化するインfra構造と増加する交通量に起因する高速道路工事区域における安全面および容量面の課題を解決すること。
• コネクテッドおよび自動運転車両を活用して、工事区域における交通の流れと安全性を向上させる協調的合流制御戦略を開発すること。
• 動的な交通状況に基づいたリアルタイムで適応可能な合流意思決定を、強化学習を活用して実現すること。
• 従来の合流戦略（遅延合流および早期合流）と比較して、提案手法の有効性を評価すること。
• シミュレーション環境において、暗黙の調整を通じた車両間の協調行動の有効性を実証すること。

提案手法

• 開放レーンに2つのメーター制御ゾーンを導入し、閉鎖レーンから合流する車両のための制御されたギャップを生成する。
• 閉鎖レーンに属する各車両は、オフポリシーのソフトアクターシステム（SAC）強化学習アルゴリズムを用いて、最適な縦方向位置を学習する。
• RLエージェントは、周囲の車両の位置、速度、加速度を状態入力として観測し、リアルタイムで合流意思決定を行う。
• 方策は空間的・時間的交通パターンを捉えるために畳み込みニューラルネットワークによって表現される。
• モデルは、現実的な条件下でのパフォーマンスを評価するために、マイクロスコピック交通シミュレーション環境を用いて訓練および検証される。
• 車両間の協調は、共有された環境状態観測と一致するギャップ探索行動を通じて、暗黙的に行われる。

実験結果

リサーチクエスチョン

• RQ1 協調的RLベースの合流制御戦略は、従来の遅延合流および早期合流戦略と比較して、移動性および安全性の面でどのように異なるか？
• RQ2 開放レーンに設けたメーター制御ゾーンは、合流効率をどの程度向上させ、衝突リスクを低減できるか？
• RQ3 オフポリシーSACアルゴリズムは、動的な工事区域環境において安全かつ効率的な合流行動を効果的に学習できるか？
• RQ4 車両間の協調行動とリアルタイムの交通状態認識は、合流パフォーマンスにどのように影響を与えるか？
• RQ5 本文脈において、交通状態を符号化するための畳み込みニューラルネットワークの使用が、方策学習に与える影響は何か？

主な発見

• 提案されたRLベースの戦略は、遅延合流および早期合流戦略と比較して、移動性指標（移動時間、スループットなど）が顕著に向上した。
• 最適なギャップ選択と協調的合流のおかげで、衝突リスクと衝突頻度という安全性能指標が著しく低下した。
• 開放レーンに設けたメーター制御ゾーンの導入により、予測可能で制御された合流機会が創出され、合流効率が向上した。
• ソフトアクターシステム（SAC）アルゴリズムは、安定的かつサンプル効率の高い学習を示し、最適方策への迅速な収束を可能にした。
• 畳み込みニューラルネットワークは、空間的・時間的交通状態を効果的に符号化し、多様な交通状況に一般化可能な能力を発揮した。
• シミュレーション結果から、RLによる協調的行動が、工事区域における滑らかな交通流れと急な操作の減少をもたらすことが確認された。