[논문 리뷰] Computing an Optimal Control Policy for an Energy Storage

Pierre Haessig, Thibaut Kovaltchouk외 3명|arXiv (Cornell University)|2014. 04. 25.

Smart Grid Energy Management참고 문헌 2인용 수 13

한 줄 요약

이 논문은 Stochastic Dynamic Programming (SDP)를 구현한 Python 기반 라이브러리인 StoDynProg를 제시한다. 이는 해양 파력 발전기(SEAREV)의 전력 출력을 평준화하기 위해 에너지 저장 시스템의 최적 제어 정책을 계산하는 데 사용된다. 이 방법은 선형 히وري스틱 정책 대비 평균적으로 20%의 전력 공급 변동성을 감소시켰으며, 마르코프 상태공간 모델과 정책 반복 기법을 사용한다. 그러나 비선형 파동 조건이 심할 경우 모델의 한계로 인해 성능 저하가 발생한다.

ABSTRACT

We introduce StoDynProg, a small library created to solve Optimal Control problems arising in the management of Renewable Power Sources, in particular when coupled with an Energy Storage System. The library implements generic Stochastic Dynamic Programming (SDP) numerical methods which can solve a large class of Dynamic Optimization problems. We demonstrate the library capabilities with a prototype problem: smoothing the power of an Ocean Wave Energy Converter. First we use time series analysis to derive a stochastic Markovian model of this system since it is required by Dynamic Programming. Then, we briefly describe the "policy iteration" algorithm we have implemented and the numerical tools being used. We show how the API design of the library is generic enough to address Dynamic Optimization problems outside the field of Energy Management. Finally, we solve the power smoothing problem and compare the optimal control with a simpler heuristic control.

연구 동기 및 목표

• Stochastic Dynamic Programming를 사용하여 에너지 시스템의 최적 제어 문제를 해결하기 위한 일반적이고 오픈소스 라이브러리를 개발하는 것.
• 해양 파력 발전기(예: SEAREV)에서 발생하는 극도로 변동성이 큰 전력 출력을 에너지 저장을 통해 평준화하는 과제를 해결하는 것.
• SDP를 통해 유도된 최적 제어 정책의 성능을 단순 선형 피드백 제어 법칙과 비교하는 것.
• 특히 비선형 파동 역학 조건 하에서 모델 정확도가 제어 성능에 미치는 영향을 평가하는 것.

제안 방법

• 시스템은 시뮬레이션된 SEAREV 전력 데이터에 적합된 자기회귀 모델을 사용하여 이산 시간 마르코프 과정으로 모델링된다.
• 최적 제어 정책은 표준적인 Stochastic Dynamic Programming 기법인 정책 반복 알고리즘을 통해 계산된다.
• 비용 함수는 주어진 전력 공급의 제곱 기댓값의 장기 평균으로 정의되며, 변동성에 대한 페널티를 부여한다.
• 상태 변수는 저장 시스템 내에 저장된 에너지이며, 0에서 정격 용량(10 MJ) 사이로 제한된다.
• 제어 정책은 현재 저장된 에너지를 최적의 전력 공급량으로 매핑하는 상태 피드백 함수로 유도된다.
• 구현은 표준 과학 계산 파이썬 라이브러리(NumPy, SciPy)를 사용하여 다양한 공학 분야에서의 이식성과 재사용성을 확보한다.

실험 결과

연구 질문

• RQ1 일반적인 SDP 기반 라이브러리가 변동성이 큰 재생 가능 에너지 발전을 관리하는 에너지 저장 시스템의 최적 제어 정책을 효과적으로 계산할 수 있는가?
• RQ2 Stochastic Dynamic Programming를 통해 유도된 최적 정책의 성능이 파력 에너지 출력 평준화에서 단순 선형 히وري스틱 정책과 비교해 어떻게 되는가?
• RQ3 모델 정확도—특히 선형성 가정—가 고진폭 파동 조건 하에서 최적 제어 정책의 강건성에 얼마나 영향을 미치는가?
• RQ4 최적 제어 대비 히وري스틱 제어를 통해 전력 공급 변동성의 정량적 감소는 어느 정도 가능한가?

주요 결과

• 최적 제어 정책은 세 개의 독립적인 1000초 분량의 SEAREV 생산 샘플에 대해 평균적으로 선형 히وري스틱 정책 대비 공급 전력의 표준편차를 약 20% 감소시켰다.
• 최적 정책은 선형 정책에서 관찰된 고에너지 상태의 부적절한 활용을 피하며, 저장 용량의 전체 범위를 더 효과적으로 활용한다.
• 고생산 단계(예: 200–220 s)에서는 최적 정책이 선형 모델의 가정과의 불일치로 인해 피크 형태의 출력을 보이며, 이는 고비선형 역학 조건 하에서의 한계를 시사한다.
• 성능 저하는 선형 상태공간 모델의 가우시안 가정과 관련이 있으며, 이는 4 표준편차를 초월하는 극단적 가속도를 포착하지 못하기 때문이다.
• StoDynProg 라이브러리는 상태공간이 저차원일 경우 다른 공학 및 생명과학 분야의 최적 제어 문제에 일반적이고 재사용 가능한 것으로 입증되었다.
• 본 연구는 실제 파력 에너지 응용 분야에서 최적 제어의 잠재력을 극대화하기 위해 더 정확한 비선형 모델이 필요하다는 점을 강조한다.