[論文レビュー] Eco-driving for Electric Connected Vehicles at Signalized Intersections: A Parameterized Reinforcement Learning approach

Xia Jiang, Jian Zhang+1 more|arXiv (Cornell University)|Jun 24, 2022

Traffic control and management参考文献 43被引用数 4

ひとこと要約

本稿では、信号制御付き交差点における電気自動車のエコドライブを目的としたパラメータ化された強化学習（PRL）フレームワークを提案する。モデルベースの車両追従および車線変更ポリシーを統合し、階層的アクション空間を用いて縦方向および横方向制御を同時に最適化する。この手法は、協調信号制御でない環境下でも、人間が運転する車両（HDV）の流れを損なわずに、エネルギー消費を最大27.13％削減する。

ABSTRACT

This paper proposes an eco-driving framework for electric connected vehicles (CVs) based on reinforcement learning (RL) to improve vehicle energy efficiency at signalized intersections. The vehicle agent is specified by integrating the model-based car-following policy, lane-changing policy, and the RL policy, to ensure safe operation of a CV. Subsequently, a Markov Decision Process (MDP) is formulated, which enables the vehicle to perform longitudinal control and lateral decisions, jointly optimizing the car-following and lane-changing behaviors of the CVs in the vicinity of intersections. Then, the hybrid action space is parameterized as a hierarchical structure and thereby trains the agents with two-dimensional motion patterns in a dynamic traffic environment. Finally, our proposed methods are evaluated in SUMO software from both a single-vehicle-based perspective and a flow-based perspective. The results show that our strategy can significantly reduce energy consumption by learning proper action schemes without any interruption of other human-driven vehicles (HDVs).

研究の動機と目的

• 信号制御付き交差点における電気自動車（CV）のエネルギー効率を向上させること。
• 動的交通環境下におけるルールベースおよび最適化ベースのエコドライブ戦略の限界を解決すること。
• 縦方向および横方向の車両意思決定を統合的に最適化する学習ベースの制御フレームワークを開発すること。
• 混合交通状況下でのCV導入に際し、人間が運転する車両（HDV）への影響を最小限に抑えること。
• CVの市場浸透率（MPR）および交通量の変動条件下での、提案手法のスケーラビリティおよびロバストネスを評価すること。

提案手法

• 交差点における縦方向および横方向制御意思決定をモデル化するため、マーカフ決定過程（MDP）を定式化する。
• 2次元の運動パターンを表現できる階層的構造としてパrameterizedされたハイブリッドアクションスペースを導入する。
• モデルベースの車両追従および車線変更ポリシーを、パラメータ化された深層強化学習（PRL）エージェントと統合する。
• 段階的報酬と終端報酬を組み合わせた複合報酬関数を採用し、ポリシー学習を誘導する。
• SPaT（信号のフェーズとタイミング）データに基づいて、最適な速度プロファイルおよび車線変更意思決定を学習できるよう、PRLエージェントを深層強化学習で訓練する。
• SUMOシミュレーションを用いて、協調信号制御と非協調信号制御の両環境下で、単一エージェントおよびマルチエージェントのシナリオを検証する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された強化学習フレームワークは、信号制御付き交差点における電気自動車のエネルギー消費を効果的に削減できるか？
• RQ2 提案手法のPRLベースのアプローチは、DQNおよびDDPGと比較して、エネルギー効率および安定性において優れているか？
• RQ3 CVの導入時、人間が運転する車両（HDV）の交通効率は、どの程度維持されるか？
• RQ4 CVの市場浸透率（MPR）が、交通システム全体のエネルギーおよび移動性パフォーマンスに与える影響はいかほどか？
• RQ5 協調信号環境と非協調信号環境のどちらで、本手法の性能が優れているか？

主な発見

• CVのMPRが1の場合、純粋なHDVシナリオと比較して、PRLベースのフレームワークは平均電気消費量を13.8％削減した。
• 非協調信号制御環境下では、ベースライン戦略と比較して、エネルギー消費を27.13％削減した。
• 協調信号制御環境下では、ベースライン戦略と比較してエネルギー消費を4.1％削減し、信号タイプにかかわらず一貫したパフォーマンスを示した。
• HDVの平均速度は、MPRの変動および交通量の変化に対しても安定しており、人間が運転する車両の交通に顕著な影響がないことが示された。
• 動的交通状況下でも、PRLコントローラはDQNおよびDDPGを上回り、エネルギー効率および安定性の両面で優れた性能を発揮した。
• 高水準のMPRレベル下でも、速度低下が最小限に抑えられ（移動性の犠牲が最小限）、実運用への実用性が確認された。