[논문 리뷰] Least Squares Policy Iteration with Instrumental Variables vs. Direct Policy Search: Comparison Against Optimal Benchmarks Using Energy Storage

Warren R. Scott, Warren B. Powell외 1명|arXiv (Cornell University)|2014. 01. 04.

Smart Grid Energy Management참고 문헌 30인용 수 12

한 줄 요약

이 논문은 에너지 저장 응용 분야에서 최소 제곱 정책 반복(least-squares policy iteration)과 통제변수(instrumental variables, IV)를 사용한 방법을 직접 정책 탐색과 비교한다. 그 결과, IV 기반 최소 제곱 정책 반복이 기존의 최소 제곱 벨먼 오차 최소화 방법보다 뚜렷이 뛰어나지만, 지식 경향도(knowledge gradient)를 사용한 직접 정책 탐색에는 미치지 못하는 것으로 나타났다. 연구는 IV 기반 벨먼 오차 최소화와 투영된 벨먼 오차 최소화(MSPBE) 간의 이론적 동치성을 확립하여, 고차원의 확률적 제어 문제에서 기존의 근사 동적 프로그래밍 방법에 비해 일관되고 효율적인 대안을 제공한다.

ABSTRACT

This paper studies approximate policy iteration (API) methods which use least-squares Bellman error minimization for policy evaluation. We address several of its enhancements, namely, Bellman error minimization using instrumental variables, least-squares projected Bellman error minimization, and projected Bellman error minimization using instrumental variables. We prove that for a general discrete-time stochastic control problem, Bellman error minimization using instrumental variables is equivalent to both variants of projected Bellman error minimization. An alternative to these API methods is direct policy search based on knowledge gradient. The practical performance of these three approximate dynamic programming methods are then investigated in the context of an application in energy storage, integrated with an intermittent wind energy supply to fully serve a stochastic time-varying electricity demand. We create a library of test problems using real-world data and apply value iteration to find their optimal policies. These benchmarks are then used to compare the developed policies. Our analysis indicates that API with instrumental variables Bellman error minimization prominently outperforms API with least-squares Bellman error minimization. However, these approaches underperform our direct policy search implementation.

연구 동기 및 목표

• 에너지 저장 응용 분야에서 통제변수(IV)를 사용한 최소 제곱 벨먼 오차 최소화를 활용한 근사 정책 반복(API) 방법의 성능을 평가하는 것.
• 실제로 발생하는 고차원의 확률적 제어 문제에서 IV 기반 LSPI를 표준 최소 제곱 정책 반복과 직접 정책 탐색(지식 경향도 기반)과 비교하는 것.
• 이산 시간 확률적 제어 문제에서 통제변수 기반 벨먼 오차 최소화와 투영된 벨먼 오차 최소화(MSPBE) 간의 이론적 동치성을 확립하는 것.
• 실제 에너지 저장 데이터셋을 기반으로 값 반복(value iteration)을 통해 최적의 기준 성능을 제공함으로써 알고리즘 성능을 철저히 평가하는 것.
• 재생 가능 에너지 통합의 맥락에서 다양한 근사 동적 프로그래밍 전략의 실용적 확장성과 정확도를 조사하는 것.

제안 방법

• 통제변수(IV)를 사용한 최소 제곱 정책 반복(LSPI)을 활용해 벨먼 오차를 최소화함으로써, 회귀변수가 내생적(endogenous)일 경우에도 일관된 추정이 가능하도록 하는 방법을 사용한다.
• 일반 조건 하에서 IV 기반 벨먼 오차 최소화가 평균 제곱 투영된 벨먼 오차(MSPBE) 최소화와 수학적으로 동치임을 수학적으로 증명한다.
• 선형 가치 함수 근사 기법을 사용해 에너지 저장 정책을 모델링하고, 실제 풍력 및 부하 데이터를 활용해 기준 문제를 생성한다.
• 생성된 데이터셋에 대해 값 반복을 적용하여 최적의 정책을 계산하고, 알고리즘 비교를 위한 기준 성능으로 활용한다.
• 정책 품질과 수렴 속도 측면에서 API 기반 방법과 비교하기 위해 지식 경향도를 활용한 직접 정책 탐색을 구현한다.
• 통계적 일관성 이론과 渐近 분석(asymptotic analysis)을 활용해, 표준 가정(외생성 및 통제변수 공분산의 전순위) 하에서 IV 추정기의 수렴성을 검증한다.

실험 결과

연구 질문

• RQ1 고차원의 에너지 저장 문제에서 통제변수 기반 최소 제곱 정책 반복(IV-LSPI)이 표준 최소 제곱 벨먼 오차 최소화 방법보다 더 일관되고 정확한가?
• RQ2 내생적 회귀변수를 가진 확률적 제어 문제에서, IV 기반 벨먼 오차 최소화와 MSPBE 최소화 간의 이론적 동치성이 실제로 성립하는가?
• RQ3 지식 경향도를 사용한 직접 정책 탐색은 IV 기반 또는 표준 LSPI 기반 근사 정책 반복 방법과 비교해 성능 면에서 어떻게 다른가?
• RQ4 실제 데이터 기반 값 반복을 통해 에너지 저장 문제에 대한 최적의 기준 성능을 신뢰성 있게 생성할 수 있는가? 이는 근사 동적 프로그래밍 방법의 철저한 평가를 가능하게 한다.
• RQ5 실제 시간에 따라 변하는 전력 수요와 변동성이 큰 풍력 공급 상황을 고려할 때, IV 기반 LSPI와 직접 정책 탐색 간의 상대적 성능 격차는 어떠한가?

주요 결과

• 실제 최적 기준과 비교했을 때, 통제변수 기반 최소 제곱 정책 반복(IV-LSPI)이 정책 품질 면에서 표준 최소 제곱 정책 반복(LSPI)보다 뚜렷이 뛰어나다.
• 이론적 분석을 통해 IV 기반 벨먼 오차 최소화가 평균 제곱 투영된 벨먼 오차(MSPBE) 최소화와 수학적으로 동치임을 입증함으로써, 근사 동적 프로그래밍에서 IV를 일관된 추정기로 사용할 수 있음을 검증한다.
• 이론적 이점이 있음에도 불구하고, IV-LSPI는 여전히 지식 경향도를 사용한 직접 정책 탐색에 열등하며, 이는 이 분야의 문제에 대해 직접 정책 탐색 전략이 더 효과적일 수 있음을 시사한다.
• 실제 풍력 및 부하 데이터를 활용해 실제 에너지 저장 테스트 문제의 라이브러리를 구축하여, 알고리즘 성능 평가의 재현 가능성과 철저함을 확보하였다.
• 값 반복이 성공적으로 기준 문제를 해결하여 최적의 정책을 도출하였고, 이는 근사 방법 평가의 황금 기준으로 기능한다.
• 결과적으로 근사 정책 반복과 직접 정책 탐색 간의 성능 격차가 드러나며, 이는 복잡한 고차원 에너지 저장 제어 문제에 대해 직접 탐색 전략이 더 적합할 수 있음을 시사한다.