[논문 리뷰] Practicality of Nested Risk Measures for Dynamic Electric Vehicle Charging

Daniel Jiang, Warren B. Powell|arXiv (Cornell University)|2016. 05. 10.

Electric Vehicles and Infrastructure참고 문헌 60인용 수 11

한 줄 요약

이 논문은 전기차(EV) 공용 충전소에서의 충전 스케줄링을 최적화하기 위해 중첩된 위험 측정법을 사용하는 위험 회피적 동적 프로그래밍 접근법을 제안한다. 특히 기대 비용과 조건부가치위험(CVaR)의 볼록 조합을 사용한다. 수치 실험을 통해 동적 충전이 시행될 경우, 위험 수용 수준이 낮은 경우에도 상당한 성과 향상이 이루어지며, MDP 프레임워크에서 위험 회피 수준을 높일수록 실제 위험은 낮아지고 수익성이 높아지는 것으로 나타났다.

ABSTRACT

We consider the sequential decision problem faced by the manager of an electric vehicle (EV) charging station, who aims to satisfy the charging demand of the customer while minimizing cost. Since the total time needed to charge the EV up to capacity is often less than the amount of time that the customer is away, there are opportunities to exploit electricity spot price variations within some reservation window. We formulate the problem as a finite horizon Markov decision process (MDP) and consider a risk-averse objective function by optimizing under a dynamic risk measure constructed using a convex combination of expected value and conditional value at risk (CVaR). It has been recognized that the objective function of a risk-averse MDP lacks a practical interpretation. Therefore, in both academic and industry practice, the dynamic risk measure objective is often not of primary interest; instead, the risk-averse MDP is used as a computational tool for solving problems with predefined "practical" risk and reward objectives (termed the base model). In this paper, we study the extent to which the two sides of this framework are compatible with each other for the EV setting -- roughly speaking, does a "more risk-averse" MDP provide lower risk in the practical sense as well? In order to answer such a question, the effect of the degree of dynamic risk-aversion on the optimal MDP policy is analyzed. Based on these results, we also propose a principled approximation approach to finding an instance of the risk-averse MDP whose optimal policy behaves well under the practical objectives of the base model. Our numerical experiments suggest that EV charging stations can be operated at a significantly higher level of profitability if dynamic charging is adopted and a small amount of risk is tolerated.

연구 동기 및 목표

• 위험 회피적 동적 프로그래밍 목표(중첩된 위험 측정법 사용)와 실용적 성과 지표 간의 호환성을 전기차 충전 관리에서 조사하기.
• MDP 프레임워크에서 위험 회피 수준을 높일 경우, 실제 전기차 충전 운영에서 실제 위험이 낮아지고 수익성이 향상되는지 확인하기.
• 기본 모델의 실용적 목표에서 잘 작동하는 최적 정책을 갖는 위험 회피적 MDP 인스턴스를 식별하는 원칙적인 근사 방법 개발하기.
• 실제 시장 가격 데이터와 전기차 충전 동역학을 활용한 수치 실험을 통해 이론적 결과 검증하기.

제안 방법

• 동적 위험 측정법을 사용하여 기대 비용과 CVaR를 조합한 유한 시간 간격의 마르코프 결정 과정(MDP)으로 전기차 충전 문제를 수식화한다.
• 위험 회피 목표 함수로 기대값과 CVaR의 볼록 조합을 사용하며, 위험 회피 수준 β로 매개변수화한다.
• 값 함수를 유도하고 최적 정책이 위험 회피 수준에 대해 단조증가하는 조건을 도출하기 위해 동적 프로그래밍 재귀를 적용한다.
• 기본 모델의 실용적 비용 및 서비스 목표에서 잘 작동하는 정책을 갖는 위험 회피적 MDP 솔루션을 매핑하기 위한 원칙적인 근사 방법을 도입한다.
• 이론적 분석을 통해 충전 임계값이 위험 매개변수에 대해 비감소함을 증명하고, 자원 단조성 조건 하에서 위험 호환성이 성립함을 보여준다.
• 실제 시장 가격 데이터를 사용한 수치 실험을 통해 동적 충전이 시행될 경우, 낮은 위험 수용 수준에서도 성능 향상이 이루어짐을 입증한다.

실험 결과

연구 질문

• RQ1 위험 회피적 MDP에서 위험 회피 수준을 높일 경우, 실질적인 전기차 충전 운영에서 실제 위험이 낮아지는가?
• RQ2 위험 회피적 MDP 목표는 전기차 충전에서 실용적 비용 및 서비스 성과 지표와 어느 정도 호환되는가?
• RQ3 원칙적인 근사 방법을 통해 기본 모델의 실용적 목표에서 잘 작동하는 최적 정책을 갖는 위험 회피적 MDP 인스턴스를 식별할 수 있는가?
• RQ4 MDP 프레임워크에서 다양한 위험 회피 수준에 따라 최적 정책의 행동 양상은 어떻게 변화하는가?
• RQ5 낮은 위험 수용 수준에서 동적 충전을 시행할 경우, 전기차 충전소의 수익성과 위험 노출에 어떤 영향을 미치는가?

주요 결과

• MDP 프레임워크에서 위험 회피 수준을 높일수록 충전 임계값이 비감소함을 보여주며, 더 보수적인 충전 행동을 의미한다.
• 위험 회피적 MDP에서 유도된 최적 정책은 위험 호환성을 보이며, 이는 기본 모델의 성과 지표 하에서 더 높은 위험 회피 수준이 실제 위험을 낮춘다는 것을 의미한다.
• 상태에 대한 값 함수의 도함수가 위험 매개변수에 대해 비증가함을 확인하여 위험 회피 수준에 대한 단조성 확인됨.
• 수치 실험 결과, 동적 충전이 시행되고 낮은 위험 수용 수준이 허용될 경우 전기차 충전소에서 상당한 수익성 향상이 이루어짐.
• 제안된 근사 방법은 실용적 목표에서 잘 작동하는 정책을 갖는 MDP 인스턴스를 성공적으로 식별하여, 프레임워크의 실용적 유용성을 검증함.
• 이론적 분석을 통해 위험 회피적 MDP 프레임워크가 실세계 목표와 호환됨을 확인하였으며, 특히 위험과 성과 지표의 단조성 고려 시 더욱 뚜렷함.