[논문 리뷰] Backward Approximate Dynamic Programming with Hidden Semi-Markov Stochastic Models in Energy Storage Optimization

Joseph L. Durante, Juliana Nascimento외 1명|arXiv (Cornell University)|2017. 10. 11.

Smart Grid Energy Management참고 문헌 33인용 수 11

한 줄 요약

이 논문은 예측 오차 분포와 교차 시간(예측값을 초과하거나 하회하는 기간)을 모두 고려하여 풍력 통합 시스템에서 에너지 저장을 최적화하기 위해 새로운 은닉 반마르코프 모델(HSMM)을 사용하는 역방향 근사 동적 프로그래밍(ADP) 프레임워크를 제안한다. 이는 강건한 정책 설계에 필수적인 요소이다. HSMM 기반 모델은 표준 마르코프 모델 및 평균 회귀 모델보다 뛰어나며, 특히 빈번한 가격 급등이 발생하는 극한 기상 조건에서 더 강건하고 수익성이 높은 제어 정책을 도출한다.

ABSTRACT

We consider an energy storage problem involving a wind farm with a forecasted power output, a stochastic load, an energy storage device, and a connection to the larger power grid with stochastic prices. Electricity prices and wind power forecast errors are modeled using a novel hidden semi-Markov model that accurately replicates not just the distribution of the errors, but also crossing times, capturing the amount of time each process stays above or below some benchmark such as the forecast. This is an important property of stochastic processes involved in storage problems. We show that we achieve more robust solutions using this model than when more common stochastic models are considered. The new model introduces some additional complexity to the problem as its information states are partially hidden, forming a partially observable Markov decision process. We derive a near-optimal time-dependent policy using backward approximate dynamic programming, which overcomes the computational hurdles of classical (exact) backward dynamic programming, with higher quality solutions than the more familiar forward approximate dynamic programming methods.

연구 동기 및 목표

• 전기 가격 변동성과 풍력 예측 오차의 고도로 불확실한 조건에서 풍력 통합 시스템에 대한 더 강건한 에너지 저장 제어 정책을 개발하기 위해.
• 기존의 시간 시계열 모델(예: AR 모델)이 예측값을 초과하거나 하회하는 기간(교차 시간)을 포착하지 못하는 한계를 해결하기 위해, 장기 저장 계획에 있어 필수적인 요소인 교차 시간을 고려하고자 한다.
• 기온 예측을 설명 변수로 포함시켜 HSMM 프레임워크를 확장하여 전기 가격의 확률적 특성을 모델링함으로써 가격 급등의 빈도와 크기의 현실성 향상을 도모하고자 한다.
• 다양한 기온 및 풍력 조건에서 다양한 확률적 가격 모델에 기반한 ADP 정책의 성능을 평가하여 악조건 상황에서의 강건성을 강조하고자 한다.
• 기존 모델 대비 HSMM 기반 모델링이 극한 기상 조건에서 더 높은 수익성과 더 나은 내구성을 제공함을 입증하고자 한다.

제안 방법

• 논문은 단변량 교차 상태 은닉 반마르코프 모델(HSMM)을 사용하여 풍력 발전 예측 오차를 모델링하며, 이는 오차의 분포와 과도한 예측 또는 저조한 예측 상태가 지속되는 기간을 동시에 포착한다.
• 전기 가격은 기온 예측에 조건화된 HSMM을 통해 모델링되며, 이는 기온의 이산적 구간을 사용하여 가격 급등 행동에 영향을 주는 설명 변수를 정의한다.
• 정보 상태의 압축 표현을 $\tilde{I}_t^P = (C_t^P, D_t^P, \hat{P}_t^b)$ 로 정의한다. 여기서 $C_t^P$와 $D_t^P$는 각각 현재의 교차 상태와 지속 시간을 나타내며, $\hat{P}_t^b$ 는 기본 가격 편차를 의미한다.
• 정확한 역방향 DP의 계산 비용이 과도한 문제를 해결하기 위해 근사 역방향 동적 프로그래밍(ADP)을 적용하여 시간에 따라 변화하는 정책을 근사 최적화한다. 이는 정확한 역방향 DP의 계산 불가능성을 우회하면서도 전방 ADP보다 더 높은 해의 질을 달성한다.
• 가치 함수는 후결정 상태에 대한 룩업 테이블을 사용하여 근사하며, 이산화를 통해 다양한 가격 모델 간에 일관된 상태공간 크기를 확보하여 공정한 비교를 가능하게 한다.
• 정책은 일반적인 경로와 악조건 상황의 풍력 및 가격 샘플 경로를 조합하여 학습하며, 냉각, 평균, 난방 조건의 세 가지 기온 조건에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 교차 상태 HSMM을 사용하여 풍력 예측 오차를 모델링할 경우, 표준 AR 모델 대비 에너지 저장 제어 정책의 강건성이 얼마나 향상되는가?
• RQ2 기온 예측을 기반으로 전기 가격 모델을 조건화할 경우, 에너지 저장 응용 분야에서 가격 급등 행동의 현실성과 예측 정확도가 얼마나 향상되는가?
• RQ3 HSMM 기반 가격 모델을 사용하는 역방향 ADP가 극한 기상 조건에서 전방 ADP 또는 표준 확률 모델 대비 더 수익성 있고 내구성이 높은 정책을 도출하는가?
• RQ4 마르코프 체인, 평균 회귀와 점프-디퓨전 모델, HSMM 등 다양한 확률적 가격 모델 간에 기온 및 풍력 조건 변화에 따라 정책 성능는 어떻게 비교되는가?
• RQ5 HSMM 프레임워크는 실시간 전력 거래 시장에서 가격 오차, 교차 시간, 곡선 아래 면적(여유/부족)의 연합 분포를 정확히 재현할 수 있는가?

주요 결과

• HSMM 기반 정책은 모든 테스트 케이스에서 평균 수익이 가장 높았으며, 평균 기온 조건에서 중앙값 수익은 -757달러로 마르코프 모델과 동일한 성능를 보였다.
• 고온 조건의 악조건 상황에서 HSMM 정책은 마르코프 모델과 평균 회귀와 점프-디퓨전(MRJD) 모델보다 뛰어난 성능를 보였으며, 각각 -2,687달러, -2,772달러, -3,332달러의 수익을 기록하였다.
• 고온일 때 자주 발생하고 크기가 큰 가격 급등 상황에서 HSMM 모델은 MRJD 모델 대비 손실을 600달러 이상 줄이는 데 성공하여 뛰어난 강건성을 입증하였다.
• 기온 예측을 설명 변수로 포함시킴으로써 모델의 가격 급등 시기, 빈도 및 크기 예측 능력이 크게 향상되었으며, 특히 극한 고온 조건에서 두드러졌다.
• HSMM 기반의 역방향 ADP 프레임워크는 전방 ADP보다 더 높은 품질의 해를 도출하였고, 부분 관측된 정보 상태의 특성에도 불구하고 효율적인 계산이 가능하였다.
• 압축된 정보 상태 표현 $\tilde{I}_t^P = (C_t^P, D_t^P, \hat{P}_t^b)$ 는 관리 가능한 상태공간 크기로 가치 함수 근사에 효과적으로 기여하였으며, 확장 가능한 정책 학습을 지원하였다.