[論文レビュー] A SUMO Framework for Deep Reinforcement Learning Experiments Solving Electric Vehicle Charging Dispatching Problem

Yaofeng Song, Han Zhao+4 more|arXiv (Cornell University)|Sep 7, 2022

Transportation and Mobility Innovations被引用数 10

ひとこと要約

本論文は、電気自動車（EV）充電配車における深層強化学習（DRL）アルゴリズムの評価を目的とした、SUMOベースのシミュレーションフレームワークを提示する。DQNおよびデュアルDQNのDRLエージェントを、現実的な都市交通環境に統合し、EVの充電ステーションへの移動時間を最小化することを目的としている。その結果、EV密度が高くなる状況下で、デュアルDQNはDQNに比べて合計移動時間を39%削減することが示された。

ABSTRACT

In modern cities, the number of Electric vehicles (EV) is increasing rapidly for their low emission and better dynamic performance, leading to increasing demand for EV charging. However, due to the limited number of EV charging facilities, catering to the huge demand for time-consuming EV charging becomes a critical problem. It is quite a challenge to dispatch EVs in the dynamic traffic environment and coordinate interaction among agents. To better serve further research on various related Deep Reinforcment Learning (DRL) EV dispatching algorithms, an efficient simulation environment is necessary to ensure success. As simulator Simulation Urban Mobility (SUMO) is one of the most widely used open-source simulators, it has great significance in creating an environment that satisfies research requirements on SUMO. We aim to improve the efficiency of EV charging station usage and save time for EV users in further work. As a result, we design an EV navigation system on the basis of the traffic simulator SUMO using Jurong Area, Singapore in this paper. Various state-of-the-art DRL algorithms are deployed on the designed testbed to validate the feasibility of the framework in terms of EV charging dispatching problems. Besides EV dispatching problems, the environment can also serve for other reinforcement learning (RL) traffic control problems

研究の動機と目的

• 限られた充電インfraストラクチャと動的な交通状況に起因する都市部におけるEV充電需要の増大という課題に対処すること。
• SUMOを用いたスケーラブルで現実的なシミュレーション環境を構築し、DRLに基づくEV配車アルゴリズムの研究を支援すること。
• DQNおよびデュアルDQNを含むさまざまなDRLアルゴリズムの性能を、EVの充電ステーションへの移動時間を最小化する観点から評価すること。
• 将来的な研究のための再現可能で一貫性のあるテストベッドを確立すること。具体的には、マルチエージェントDRLや交通予測統合の分野を含むインтелиジェントトランスポーテーションシステムにおける強化学習研究を支援すること。
• 動的な都市交通ネットワークにおけるナビゲーションと配車の最適化を通じて、EVの充電効率とユーザー体験を向上させること。

提案手法

• シンガポールのジュロン・ウエスト地区を現実の都市交通シナリオとして用い、オープンソース交通シミュレータであるSUMO内にカスタムEVナビゲーション環境を構築した。
• 4つの配車戦略（ランダム選択、グリーディ選択、DQN、デュアルDQN）を実装し、ターゲットとなるEVを充電ステーションへ誘導した。
• リアルタイムの交通状況および充電ステーションの状態を観測できる強化学習エージェントを設計。状態表現には、車両の位置、ステーションまでの距離、キュー長が含まれる。
• Adam最適化アルゴリズムを用いてDQNおよびデュアルDQNエージェントを訓練。学習率は0.01、バッチサイズは32、ターゲットネットワークの更新頻度は8000ステップとした。
• 10,000のサイズを持つリプレイバッファと、ε-greedy探索（1から0.1へ線形減少）を用いて、学習の安定化と探索の向上を図った。
• 各シナリオで50エピソードをシミュレートし、1エピソードは24時間（1日分）の長さとした。EV数を200、300、400と変化させ、交通負荷の増加に伴うスケーラビリティを評価した。

実験結果

リサーチクエスチョン

• RQ1 SUMOベースのシミュレーションフレームワークは、現実的な都市交通状況下でDRLアルゴリズムのEV充電配車評価を効果的に行えるか？
• RQ2 DRLベースの配車戦略（DQNおよびデュアルDQN）は、ヒューリスティック手法（ランダム選択およびグリーディ選択）に比べ、EVの充電ステーションへの移動時間をどれほど効果的に短縮できるか？
• RQ3 EV密度および交通の複雑さが増加するに従い、DRLモデルの性能は向上するか？もしそうならば、その向上幅はどの程度か？
• RQ4 動的な交通環境下において、デュアルDQNアーキテクチャは標準DQNに比べ、ナビゲーション効率および収束性の面でどれほど優れているか？
• RQ5 提案されたフレームワークは、マルチエージェントDRLや交通予測モデルとの統合をサポートするように拡張可能か？

主な発見

• SUMOベースのシミュレーションフレームワークは、EV充電配車のための複数のDRLアルゴリズムのデプロイと評価を成功裏に実現した。
• EV数が400に増加した状況で、デュアルDQNはDQNに比べて合計移動時間を39%削減した。これは、高交通密度下でも優れた性能を示している。
• 400台のEVシナリオにおいて、デュアルDQNはシミュレーション移動時間を843秒にまで短縮した。これは、DQN（1,387秒）、ランダム配車（1,955秒）、グリーディ配車（1,648秒）を上回った。
• DQNおよびデュアルDQNの両方とも、状態に依存した意思決定と動的な交通状況からの学習を活用することで、ランダムおよびグリーディ配車に比べて顕著に優れた性能を示した。
• フレームワークは、EV密度が増加するに従い一貫した性能向上を示し、スケーラブルで堅牢であった。これは、今後のインテリジェントトランスポーテーションシステムにおけるRL研究に適していることを裏付けた。
• 結果から、DRLベースのナビゲーション戦略が、リアルタイムの交通状況および充電キュー情報を取り入れることで、EVの移動時間を効果的に短縮できることを確認した。これにより、ユーザー体験の向上とインfraの活用効率の向上が可能になった。