[論文レビュー] Personalized Dynamic Pricing Policy for Electric Vehicles: Reinforcement learning approach

Sangjun Bae, Balaźs Kulcsár+1 more|arXiv (Cornell University)|Jan 1, 2024

Electric Vehicles and Infrastructure被引用数 4

ひとこと要約

本稿では、深層Qラーニングを用いて収益を最大化するため、高速充電ステーション（fast-EVCS）のためのパーソナライズド動的価格設定（PeDP）ポリシーを提案する。EVユーザーの利己的行動をゲーム理論的ユーティリティ関数でモデル化し、fast-EVCS間の競争をシミュレートすることで、待機時間とプライバシー保護されたユーザー情報の統合が収益を顕著に向上させることを示している。一方で、共有情報の悪用によるAIの誤用のリスクも明らかにした。

ABSTRACT

With the increasing number of fast-electric vehicle charging stations (fast-EVCSs) and the popularization of information technology, electricity price competition between fast-EVCSs is highly expected, in which the utilization of public and/or privacy-preserved information will play a crucial role. Self-interest electric vehicle (EV) users, on the other hand, try to select a fast-EVCS for charging in a way to maximize their utilities based on electricity price, estimated waiting time, and their state of charge. While existing studies have largely focused on finding equilibrium prices, this study proposes a personalized dynamic pricing policy (PeDP) for a fast-EVCS to maximize revenue using a reinforcement learning (RL) approach. We first propose a multiple fast-EVCSs competing simulation environment to model the selfish behavior of EV users using a game-based charging station selection model with a monetary utility function. In the environment, we propose a Q-learning-based PeDP to maximize fast-EVCS' revenue. Through numerical simulations based on the environment: (1) we identify the importance of waiting time in the EV charging market by comparing the classic Bertrand competition model with the proposed PeDP for fast-EVCSs (from the system perspective); (2) we evaluate the performance of the proposed PeDP and analyze the effects of the information on the policy (from the service provider perspective); and (3) it can be seen that privacy-preserved information sharing can be misused by artificial intelligence-based PeDP in a certain situation in the EV charging market (from the customer perspective).

研究の動機と目的

• 自己中心的なEVユーザーを伴う競争的で変動しやすい市場環境において、fast-EVCSの収益最大化課題に取り組む。
• 電気料金、待機時間、充電残量（SOC）を考慮した貨幣的ユーティリティ関数を用いて、EVユーザー行動をモデル化する。
• リアルタイムのユーザーおよびステーション状態に適応可能な、深層Qラーニングを用いたパーソナライズド動的価格設定ポリシー（PeDP）を設計する。
• 情報の可用性（公表済み vs. プライバシー保護済みデータ）が価格設定パフォーマンスと収益に与える影響を評価する。
• 顧客視点から、AI駆動の価格設定ポリシーがプライバシー保護済みデータを悪用する可能性を調査する。

提案手法

• 貨幣的ユーティリティ関数を用いたゲーム理論的充電ステーション選択モデルに基づく、複数のfast-EVCSを想定したシミュレーション環境を構築した。
• EVユーザーのユーティリティを、電気料金、待機時間、充電残量（SOC）、エネルギー効率の関数として定式化した。
• 時間経過とともにfast-EVCSの収益を最大化するパーソナライズド価格設定ポリシーを学習するため、深層Qラーニングエージェントを実装した。
• 学習の安定化のため、リプレイメモリとターゲットネットワークを用い、予測値とターゲットQ値の差を最小化する損失関数を定義した。
• 学習プロセスにおける活用と探索のバランスを図るため、ε-greedy探索戦略を導入した。
• 収益と市場ダイナミクスの比較を目的として、PeDPを古典的なベルトラン競争モデルと比較評価した。

実験結果

リサーチクエスチョン

• RQ1 ユーティリティ関数に待機時間を組み込むことで、fast-EVCS競争における市場均衡と収益にどのような影響を与えるか？
• RQ2 競争的なEV充電市場において、パーソナライズド動的価格設定は、公表価格に比べて収益をどの程度向上させるか？
• RQ3 プライバシー保護済みユーザー情報の可用性が、AI駆動価格設定ポリシーのパフォーマンスにどのように影響するか？
• RQ4 AIベースのPeDPポリシーは、共有情報を利用して個々のEVユーザーに不利な影響を及ぼす可能性があるか？
• RQ5 どのような条件下で、システムは安定した価格設定およびユーザー割り当て結果に収束するか？

主な発見

• 提案されたPeDPは、待機時間をユーザーのユーティリティに組み込む場合を除き、古典的なベルトラン競争モデルを著しく上回る収益を達成する。
• 推定待機時間をユーティリティ関数に組み込むことで、市場の効率的かつ高い収益が実現される。
• プライバシー保護済み情報を利用することでPeDPはより高い収益を達成しており、ユーザー単位のデータが動的価格設定において価値を持つことを示した。
• 本研究では、AIベースのPeDPが、プライバシー保護済みデータを悪用して個々のユーザーに戦略的に不利な影響を与える可能性があることが明らかになった。これは倫理的懸念を喚起する。
• システムはSPAO（単一ピーク・オブ・ワン）条件の下でナッシュ安定パーティションに収束し、安定したユーザーグループ化と予測可能な行動を保証する。
• 深層Qラーニングエージェントは、シミュレートされた環境との相互作用を通じて最適価格戦略を学習し、時間経過とともに安定した収益成長を達成した。