[논문 리뷰] Personalized Dynamic Pricing Policy for Electric Vehicles: Reinforcement learning approach

Sangjun Bae, Balaźs Kulcsár외 1명|arXiv (Cornell University)|2024. 01. 01.

Electric Vehicles and Infrastructure인용 수 4

한 줄 요약

이 논문은 깊이 강화학습을 사용하여 수익을 극대화하기 위해 개인화된 동적 가격 설정(_peDP_) 정책을 빠른 전기차 충전소(fast-EVCSs)에 제안한다. 게임 이론적 유티리티 함수를 통해 전기차 사용자의 이기적인 행동을 모델링하고 빠른 전기차 충전소 간의 경쟁을 시뮬레이션함으로써, 대기 시간과 개인정보 보호된 사용자 데이터를 통합하는 것이 수익을 크게 증가시키는 것으로 나타났으며, 공유 정보를 악용하는 인공지능의 오용 가능성을 드러낸다.

ABSTRACT

With the increasing number of fast-electric vehicle charging stations (fast-EVCSs) and the popularization of information technology, electricity price competition between fast-EVCSs is highly expected, in which the utilization of public and/or privacy-preserved information will play a crucial role. Self-interest electric vehicle (EV) users, on the other hand, try to select a fast-EVCS for charging in a way to maximize their utilities based on electricity price, estimated waiting time, and their state of charge. While existing studies have largely focused on finding equilibrium prices, this study proposes a personalized dynamic pricing policy (PeDP) for a fast-EVCS to maximize revenue using a reinforcement learning (RL) approach. We first propose a multiple fast-EVCSs competing simulation environment to model the selfish behavior of EV users using a game-based charging station selection model with a monetary utility function. In the environment, we propose a Q-learning-based PeDP to maximize fast-EVCS' revenue. Through numerical simulations based on the environment: (1) we identify the importance of waiting time in the EV charging market by comparing the classic Bertrand competition model with the proposed PeDP for fast-EVCSs (from the system perspective); (2) we evaluate the performance of the proposed PeDP and analyze the effects of the information on the policy (from the service provider perspective); and (3) it can be seen that privacy-preserved information sharing can be misused by artificial intelligence-based PeDP in a certain situation in the EV charging market (from the customer perspective).

연구 동기 및 목표

• 자기 이기적인 전기차 사용자가 있는 경쟁적이고 동적인 시장에서 빠른 전기차 충전소(fast-EVCSs)의 수익 극대화 문제를 해결하기 위해.
• 전기 요금, 대기 시간, 충전 상태(SOC)를 고려한 금전적 유티리티 함수를 사용하여 전기차 사용자 행동을 모델링하기 위해.
• 실시간 사용자 및 충전소 조건에 적응하는 깊이 Q학습을 활용한 개인화된 동적 가격 설정 정책(PeDP)을 설계하기 위해.
• 공개 정보 대비 개인정보 보호된 데이터의 가용성이 가격 설정 성능과 수익에 미치는 영향을 평가하기 위해.
• 고객 시각에서 볼 때, 인공지능 기반 가격 설정 정책이 개인정보 보호된 데이터를 오용할 수 있는 잠재적 위험을 조사하기 위해.

제안 방법

• 게임 이론적 충전소 선택 모델과 금전적 유티리티 함수를 기반으로 한 다중 빠른 전기차 충전소 시뮬레이션 환경을 개발하였다.
• 전기차 사용자의 유티리티를 전기 요금, 대기 시간, 충전 상태(SOC), 에너지 효율성의 함수로 정의하였다.
• 시간이 지남에 따라 빠른 전기차 충전소의 수익을 극대화하는 데 목적이 있는 개인화된 가격 설정 정책을 학습하는 데 깊이 Q학습 에이전트를 구현하였다.
• 학습 안정성을 높이기 위해 재생 메모리와 타겟 네트워크를 사용하였으며, 예측된 Q값과 목표 Q값 간의 차이를 최소화하는 손실 함수를 적용하였다.
• 학습 과정에서 탐색과 이용의 균형을 이루기 위해 ε-그리디 탐색 전략을 도입하였다.
• 수익과 시장 역학을 비교하기 위해 PeDP를 고전적인 베르트란드 경쟁 모델과 대비하여 평가하였다.

실험 결과

연구 질문

• RQ1 유티리티 함수에 대기 시간을 포함할 경우, 빠른 전기차 충전소 경쟁에서 시장 균형과 수익에 어떤 영향을 미치는가?
• RQ2 경쟁적인 전기차 충전 시장에서 공개 가격 대비 개인화된 동적 가격 설정이 수익을 얼마나 향상시키는가?
• RQ3 개인정보 보호된 사용자 정보의 가용성이 인공지능 기반 가격 설정 정책의 성능에 어떤 영향을 미치는가?
• RQ4 인공지능 기반 PeDP 정책이 공유된 정보를 악용하여 개인 사용자에게 불리하게 작용할 수 있는가?
• RQ5 시스템이 안정적인 가격 설정과 사용자 할당 결과로 수렴하는 조건은 무엇인가?

주요 결과

• 제안된 PeDP는 대기 시간을 사용자 유티리티에 포함시킬 경우 고전적인 베르트란드 경쟁 모델에 비해 수익 창출 측면에서 뚜렷이 뛰어나다.
• 추정된 대기 시간을 유티리티 함수에 통합하면 더 효율적인 시장 결과와 빠른 전기차 충전소의 더 높은 수익을 이끌어낸다.
• 개인정보 보호된 정보를 사용할 경우 PeDP가 더 높은 수익을 달성하여 사용자 수준의 데이터가 동적 가격 설정에 가치가 있음을 입증한다.
• 연구 결과에 따르면 인공지능 기반 PeDP는 개인정보 보호된 데이터를 악용하여 개별 사용자를 전략적으로 불리하게 만들 수 있으며, 이는 윤리적 우려를 제기한다.
• 시스템은 SPAO(Single-Peaked-At-One) 조건 하에서 나시 안정 파artition로 수렴하여 안정적인 사용자 그룹화와 예측 가능한 행동을 보장한다.
• 딥 Q학습 에이전트는 시뮬레이션 환경과의 상호작용을 통해 최적의 가격 설정 전략을 성공적으로 학습하였으며, 시간이 지남에 따라 안정적인 수익 증가를 달성하였다.