[論文レビュー] Dynamic Pricing and Management for Electric Autonomous Mobility on Demand Systems Using Reinforcement Learning.

Berkay Turan, Ramtin Pedarsani+1 more|arXiv (Cornell University)|Sep 16, 2019

Transportation and Mobility Innovations被引用数 4

ひとこと要約

本稿では、時間変動する乗車需要、電力料金、再生可能エネルギーの可用性を扱うために、マーカフド決定過程としてモデル化された、電気自動車の自律移動オンデマンド（MaaS）システムにおける深層強化学習（DRL）に基づく動的価格設定およびフリート管理方策を提案する。マンハッタンおよびサンフランシスコの事例研究において、静的ベースラインと比較して、キュー長が最大200倍短く、利益も高い結果を得た。

ABSTRACT

The proliferation of ride sharing systems is a major drive in the advancement of autonomous and electric vehicle technologies. This paper considers the joint routing, battery charging, and pricing problem faced by a profit-maximizing transportation service provider that operates a fleet of autonomous electric vehicles. We define the dynamic system model that captures the time dependent and stochastic features of an electric autonomous-mobility-on-demand system. To accommodate for the time-varying nature of trip demands, renewable energy availability, and electricity prices and to further optimally manage the autonomous fleet, a dynamic policy is required. In order to develop a dynamic control policy, we first formulate the dynamic progression of the system as a Markov decision process. We argue that it is intractable to exactly solve for the optimal policy using exact dynamic programming methods and therefore apply deep reinforcement learning to develop a near-optimal control policy. Furthermore, we establish the static planning problem by considering time-invariant system parameters. We define the capacity region and determine the optimal static policy to serve as a baseline for comparison with our dynamic policy. While the static policy provides important insights on optimal pricing and fleet management, we show that in a real dynamic setting, it is inefficient to utilize a static policy. The two case studies we conducted in Manhattan and San Francisco demonstrate the efficacy of our dynamic policy in terms of network stability and profits, while keeping the queue lengths up to 200 times less than the static policy.

研究の動機と目的

• 利益最大化を目的とした電気自動車の自律移動オンデマンドシステムにおけるルーティング、バッテリー充電、動的価格設定の統合的課題に取り組むこと。
• 動的システムフレームワーク内で、乗車需要、電力料金、再生可能エネルギーの可用性の時間変動的かつ確率的な性質をモデル化すること。
• 大規模システムにおける正確な動的計画法の解法が困難であるため、深層強化学習を用いて近似的最適制御方策を開発すること。
• 時間不変の計画問題を用いて静的ベンチマーク方策を確立し、動的方策との性能比較を行うこと。
• 動的方策の有効性を、ネットワークの安定性と利益性に注目して、実世界の都市環境で評価すること。

提案手法

• 時間依存的かつ確率的なダイナミクスを捉えるために、電気自動車の自律移動オンデマンドシステムをマーカフド決定過程（MDP）として定式化すること。
• 大規模システムにおける正確な動的計画法の解法が困難であるため、深層強化学習（DRL）を用いて近似的最適制御方策を学習すること。
• 性能ベースラインとしての容量領域と最適静的方策を導出するために、時間不変パラメータを有する静的計画問題を定義すること。
• 変動する需要、電力料金、再生可能エネルギーの可用性を含む、実世界の状態を再現するため、マンハッタンおよびサンフランシスコの事例研究を実施すること。
• DRLエージェントに、システム状態の変化に応じたルーティング、充電意思決定、動的価格設定のバランスを最適化する長期的利益を最適化させるように訓練すること。
• キュー長、システム安定性、利益生成の観点から、動的DRL方策と静的方策を比較すること。

実験結果

リサーチクエスチョン

• RQ1 電気自動車の自律移動オンデマンドシステムにおいて、深層強化学習に基づく動的価格設定およびフリート管理方策は、静的方策と比較して、ネットワーク安定性と利益性の観点でどのように異なるか？
• RQ2 マンハッタンやサンフランシスコのような高需要都市環境において、DRLベースの方策はキュー長をどの程度短縮できるか？
• RQ3 乗車需要、電力料金、再生可能エネルギーの可用性といった時間変動要因が、フリート管理および価格設定意思決定に与える影響は何か？
• RQ4 確率的かつ非定常な条件下で、動的方策は静的方策と比較して、ネットワーク安定性をどの程度維持できるか？
• RQ5 学習されたDRL方策は、電気自動車システムにおいて、ルーティング、充電、価格設定を効果的にバランスさせ、長期的利益を最大化できるか？

主な発見

• マンハッタンおよびサンフランシスコの事例研究において、動的DRL方策は静的方策と比較してキュー長を最大200倍短縮した。
• 時間変動する需要およびエネルギー条件のもとでも、動的方策は静的方策よりも高い利益を達成するとともに、著しく優れたネットワーク安定性を維持した。
• 静的方策はベンチマークとして有用であるが、変化するシステムパラメータに適応できないため、実世界の動的環境では非効率である。
• DRLベースのアプローチは、需要および電力料金のリアルタイムな変動に応じて、ルーティング、バッテリー充電、動的価格設定を効果的にバランスさせた。
• 静的計画問題から導出された容量領域は、動的方策の性能評価に理論的基盤を提供する。
• 事例研究から、電気自動車の自律移動オンデマンドシステムのスケーラブルかつ収益性の高い運用には、動的制御方策が不可欠であることが確認された。