[논문 리뷰] An online learning approach to dynamic pricing for demand response

Liyan Jia, Lang Tong외 1명|arXiv (Cornell University)|2014. 04. 04.

Smart Grid Energy Management참고 문헌 21인용 수 7

한 줄 요약

이 논문은 알려지지 않은 고객 수요 함수를 가정할 때 동적 전기 요금 설정을 위한 조각별 선형 확률적 근사(PWLSA) 알고리즘을 제안한다. 도매 가격의 일일 전망 기반으로 소매 이윤 극대화를 설정함으로써, PWLSA는 로그 수준의 위험 증가율(Θ(log T))을 달성하며, 이는 최적이다—다른 온라인 학습 알고리즘도 더 느린 위험 증가율을 달성할 수 없다. 시뮬레이션 결과, 정적 및 동적 매개변수 상황에서 그레디 메서드보다 뛰어난 성능을 보였다.

ABSTRACT

In this paper, the problem of optimal dynamic pricing for retail electricity with an unknown demand model is considered. Under the day-ahead dynamic pricing (a.k.a. real time pricing) mechanism, a retailer obtains electricity in a twosettlement wholesale market and serves its customers in real time. Without knowledge on the aggregated demand function of its customers, the retailer aims to maximize its retail surplus by sequentially adjusting its price based on the behavior of its customers in the past. An online learning algorithm, referred to as piecewise linear stochastic approximation (PWLSA), is proposed. It is shown that PWLSA achieves the optimal rate of learning defined by the growth rate of cumulative regret. In particular, the regret of PWLSA is shown to grow logarithmically with respect to the learning horizon, and no other on-line learning algorithm can have the growth rate slower than that of PWLSA. Simulation studies are presented using traces of actual day-ahead prices, and PWLSA compares favorably under both static and dynamically changing parameters.

연구 동기 및 목표

• 고객 수요 함수를 알지 못하는 상황에서 동적 전기 요금 설정 문제를 해결하기 위해.
• 알려지지 않은 수요 모델을 가진 일일 동적 요금 설정(DADP)에서 소매 이윤 극대화를 위해.
• 실시간 요금 설정에서 탐색과 이용을 균형 잡는 온라인 학습 알고리즘을 설계하기 위해.
• 동적 요금 설정에서 온라인 학습의 최적 위험 증가율을 달성하기 위해.
• 정적 및 시간에 따라 변화하는 수요 매개변수 조건에서 그레디 메서드와의 성능을 검증하기 위해.

제안 방법

• 소매업자는 두 단계 정산 도매 시장 모델을 사용하며, 일일 및 실시간 가격이 계획된 부하에서의 편차에 따라 이윤을 결정한다.
• 소매 이윤은 실시간 부하가 일일 계획에서 벗어난 정도의 2-노름에 비례하는 방식으로 모델링된다.
• PWLSA 알고리즘은 과거 고객 반응을 기반으로 가격을 순차적으로 조정하며, 조각별 선형 확률적 근사를 사용해 수요 매개변수를 추정한다.
• 알고리즘은 탐색(다양화된 가격 신호)과 이용(이윤 극대화 가격)을 균형 잡아 누적 위험을 최소화한다.
• 위험는 알려진 수요 조건에서의 최적 이윤과 알려지지 않은 수요 조건에서의 실제 이윤 간의 차이로 정의되며, 성능 지표로 위험 증가율을 사용한다.
• 이론은 확률적 근사 이론에 기반하며, 선형 수요 모델 조건 하에서 수렴 보장을 갖는다.

실험 결과

연구 질문

• RQ1 알려지지 않은 수요 함수를 가진 동적 전기 요금 설정에서 온라인 학습 알고리즘이 최적의 위험 증가율을 달성할 수 있는가?
• RQ2 정적 및 시간에 따라 변화하는 수요 매개변수 조건에서 PWLSA의 성능은 그레디 요금 설정 정책보다 어떻게 다를까?
• RQ3 알려지지 않은 수요 함수 조건에서 온라인 동적 요금 설정의 위험 증가율에 대한 기본 한계는 무엇인가?
• RQ4 두 단계 정산 시장 구조는 소매 이윤 및 학습 목표의 수식에 어떤 영향을 미치는가?
• RQ5 수요 매개변수가 시간에 따라 변화할 때 알고리즘이 강건성과 빠른 수렴성을 유지할 수 있는가?

주요 결과

• PWLSA는 Θ(log T)의 위험 증가율을 달성하며, 이는 이 설정에서 어떤 온라인 학습 알고리즘도 달성할 수 있는 가장 느린 속도이다.
• PWLSA보다 더 느린 위험 증가율을 달성할 수 있는 다른 온라인 학습 알고리즘이 존재하지 않으며, 이는 순서적으로 최적임을 의미한다.
• 실제 일일 가격 추적 데이터를 사용한 시뮬레이션에서, PWLSA는 누적 위험 측면에서 그레디 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 정적 매개변수 조건에서는 PWLSA가 빠르게 최적 가격으로 수렴했고, 그레디 방법은 초기 단계에서 높은 위험을 보이며 극단적인 상황에서 종종 실패했다.
• 마르코프 체인으로 모델링된 동적 매개변수 조건에서는 PWLSA가 선형 위험 증가율(시간에 따라 변화하는 조건에서 최적)을 유지하며 최적 가격을 안정적으로 추적했다.
• 희귀한 실패 사례에서는 그레디 방법이 특이성 문제로 인해 비정상적인 가격을 생성했지만, PWLSA는 안정적이고 적응적인 상태를 유지했다.