[論文レビュー] Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections

Zhengwei Bai, Hao Peng+3 more|arXiv (Cornell University)|Jan 19, 2022

Traffic control and management被引用数 4

ひとこと要約

本稿では、混在交通状況下の信号制御交差点における連結自動運転車両（CAVs）のエコドライブを実現するため、ルールベース戦略とディープ強化学習を統合したハイブリッド強化学習（HRL）フレームワークを提案する。ビジョン認識データとV2I通信を統合することで、HRLモデルは縦方向および横方向の走行行動を最適化し、Unityベースのシミュレーションにおいて、最先端のモデルベース手法と比較してエネルギー消費を12.70%、移動時間を11.75%削減した。

ABSTRACT

Taking advantage of both vehicle-to-everything (V2X) communication and automated driving technology, connected and automated vehicles are quickly becoming one of the transformative solutions to many transportation problems. However, in a mixed traffic environment at signalized intersections, it is still a challenging task to improve overall throughput and energy efficiency considering the complexity and uncertainty in the traffic system. In this study, we proposed a hybrid reinforcement learning (HRL) framework which combines the rule-based strategy and the deep reinforcement learning (deep RL) to support connected eco-driving at signalized intersections in mixed traffic. Vision-perceptive methods are integrated with vehicle-to-infrastructure (V2I) communications to achieve higher mobility and energy efficiency in mixed connected traffic. The HRL framework has three components: a rule-based driving manager that operates the collaboration between the rule-based policies and the RL policy; a multi-stream neural network that extracts the hidden features of vision and V2I information; and a deep RL-based policy network that generate both longitudinal and lateral eco-driving actions. In order to evaluate our approach, we developed a Unity-based simulator and designed a mixed-traffic intersection scenario. Moreover, several baselines were implemented to compare with our new design, and numerical experiments were conducted to test the performance of the HRL model. The experiments show that our HRL method can reduce energy consumption by 12.70% and save 11.75% travel time when compared with a state-of-the-art model-based Eco-Driving approach.

研究の動機と目的

• 従来のルールベースまたはモデルベース手法が不切実な仮定に基づくため、信号制御交差点における混在交通状況下での移動性およびエネルギー効率の向上という課題に対処すること。
• ルールベースの安全性と効率性をディープRLと統合したハイブリッド強化学習フレームワークを構築し、複雑な交通環境下での適応的・リアルタイムのエコドライブを実現すること。
• V2I通信および搭載センサ（カメラ、レーダー）を活用して状況認識を向上させ、エネルギー効率の高い車両の協調的軌道を実現すること。
• さまざまな交通浸透率および信号タイミング条件の下で、リアルなシミュレーション環境においてHRLフレームワークの性能を評価すること。
• エネルギー消費の削減および移動時間の短縮という観点から、既存のモデルベースおよびグラフベースのエコドライブ手法に比べ、優れた性能を示すことを実証すること。

提案手法

• HRLフレームワークは、安全性と効率性を確保するため、ルールベースの運転マネージャがルールベースのポリシーとディープRLポリシーの間を調整する。
• マルチストリームニューラルネットワークが前方カメラ、搭載レーダー、OBD、V2I信号からの時空間的データを処理し、意思決定に必要な隠れ特徴を抽出する。
• 長期間と短期間の利益をバランスさせるLong-Short Term Reward（LSTR）モデルを用いて、ディープRLベースのポリシー網が縦方向の加速度および横方向のレーンターゲット行動を生成する。
• システムは、連結自動運転車両（CAVs）と人間運転車両（HVs）を含む混在交通状況の交差点シナリオを想定したUnityベースのシミュレータで訓練および評価される。
• V2Iからの信号フェーズとタイミング（SPaT）および幾何的交差点記述（GID）データを用いて、信号の変化を予測し、進入速度を最適化する。
• 性能はグラフベースモデルおよびインテリジェントドライバー・モデル（IDM）と比較され、再エネブレーキングを含むアブレーションスタディにより、ロバストネスの検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド強化学習フレームワークは、混在交通状況下の信号制御交差点におけるエコドライブにおいて、ルールベースの安全性とディープRLを効果的に統合できるか？
• RQ2 V2Iおよび搭載ビジョンデータの統合は、純粋なモデルベースまたはルールベース手法と比較して、エネルギー効率および移動時間の改善にどのように寄与するか？
• RQ3 信号タイミングおよび車両浸透率の変動が、HRLベースのエコドライブ戦略の性能に与える影響は何か？
• RQ4 リアルな混在交通状況下で、HRLモデルは最先端のモデルベース手法に比べ、より優れたエネルギーおよび時間効率を達成できるか？
• RQ5 エントリースピードおよびエントリータイミングという観点から、HRLモデルの最適運用領域はどこにあり、それが性能にどのように影響するか？

主な発見

• 21のテストシナリオすべてにおいて、HRL手法は最先端のグラフベースモデルと比較して、平均エネルギー消費を12.70%削減、移動時を11.75%削減した。
• 最も好都合な条件（エントリースピード30 km/h、信号フェーズC50）では、HRLモデルはグラフベース手法と比較して、エネルギー消費を42.94%削減、移動時を55.83%削減した。
• 再生ブレーキングを有効化した場合、HRL手法はグラフベースモデルと比較してエネルギー使用量を23.60%削減し、IDMと比較して41.59%削減した。これにより、ロバストネスおよびスケーラビリティの確認が得られた。
• エネルギー消費に関して21のすべてのシナリオ、移動時間に関して27のすべてのシナリオで、HRLフレームワークはIDMを上回った。これは一貫した優位性を示している。
• 性能向上のヒートマップから、HRLモデルは中程度の速度と最適なタイミングで交差点に進入した場合に最も高い性能を発揮することが判明し、明確な性能の最適領域（スイートスポット）があることが示された。
• フレームワークは、さまざまな信号フェーズおよび交通状況において一貫した性能向上を維持しており、動的で混在交通状況下の環境への適応性が検証された。