[논문 리뷰] Finite Horizon Q-learning: Stability, Convergence, Simulations and an application on Smart Grids

Vivek VP, Shalabh Bhatnagar|arXiv (Cornell University)|2021. 10. 27.

Smart Grid Energy Management인용 수 5

한 줄 요약

이 논문은 단계별로 변화하는 동역학과 보상이 있는 마르코프 결정 과정(MDP)를 위한 유한한 시간 범위 Q-학습 알고리즘을 제안하며, 일반적인 미분방정식(O.D.E) 방법을 사용하여 거의 확실한 수렴성과 안정성을 증명한다. 이 알고리즘은 스마트 그라이드 에너지 관리에서 기준 전략보다 뛰어나며, 재생 가능 에너지 및 비재생 가능한 시나리오 모두에서 평균 비용을 크게 감소시킨다.

ABSTRACT

Q-learning is a popular reinforcement learning algorithm. This algorithm has however been studied and analysed mainly in the infinite horizon setting. There are several important applications which can be modeled in the framework of finite horizon Markov decision processes. We develop a version of Q-learning algorithm for finite horizon Markov decision processes (MDP) and provide a full proof of its stability and convergence. Our analysis of stability and convergence of finite horizon Q-learning is based entirely on the ordinary differential equations (O.D.E) method. We also demonstrate the performance of our algorithm on a setting of random MDP as well as on an application on smart grids.

연구 동기 및 목표

• 단계별 전이 확률과 보상이 있는 유한 시간 범위 마르코프 결정 과정(MDP)에 적합한 Q-학습 알고리즘을 개발하는 것.
• 스토크래틱 근사 프레임워크와 O.D.E. 방법을 사용하여 유한 시간 범위 Q-학습의 엄밀한 안정성 및 수렴성 분석을 제공하는 것.
• 무작위 MDP와 마이크로그라이드 에너지 관리에 관여하는 실제 스마트 그라이드 애플리케이션에서 알고리즘의 성능을 시연하는 것.
• 모든 모델 정보가 가용하지 않은 상황에서도 알고리즘이 최적의 Q-값으로 수렴함을 보여주는 것.

제안 방법

• 알고리즘은 N개의 단계 동안 단계별로 변화하는 Q-값 갱신을 통합하여 표준 Q-학습을 유한 시간 범위 MDP로 확장한다.
• 시간에 따라 변화하는 학습률을 사용하는 스토크래틱 근사 프레임워크를 활용하여 샘플링된 상태-행동-보상-다음 상태 전이를 기반으로 Q-값을 갱신한다.
• O.D.E. 방법을 통해 Q-값 재귀가 거의 확실하게 최적의 Q-값으로 수렴함을 입증하여 수렴성을 확립한다.
• 전이 및 보상 함수에 시간 의존성을 명시적으로 모델링하여 비정상적인 동역학과 보상을 처리한다.
• 무작위 MDP와 스마트 그라이드 MDP에서 실험을 통해 학습된 Q-값을 검증하기 위해 동적 프rogram밍 기반 기준을 사용한다.
• 스마트 그라이드 애플리케이션은 상태(수요, 배터리, 가격), 행동(전력망에서 구매, 배터리 방전), 비용 기반 보상으로 구성된 유한 시간 범위 MDP로 모델링된다.

실험 결과

연구 질문

• RQ1 단계별로 변화하는 동역학과 보상을 갖는 유한 시간 범위 MDP에서 Q-학습 알고리즘이 엄밀하게 수렴함을 증명할 수 있는가?
• RQ2 제안된 유한 시간 범위 Q-학습 알고리즘이 부분적인 모델 정보 하에서도 안정성을 유지하고 최적의 Q-값으로 수렴하는가?
• RQ3 에너지 관리 작업에서 유한 시간 범위 Q-학습의 성능은 기준 히우리스틱 전략과 비교해 어떻게 되는가?
• RQ4 재생 가능 에너지의 가용성이 마이크로그라이드 관리에서 운영 비용을 얼마나 감소시키는가?

주요 결과

• 유한 시간 범위 Q-학습 알고리즘은 O.D.E. 방법을 통해 거의 확실하게 최적의 Q-값으로 수렴함을 입증하였다.
• 무작위 MDP에서 알고리즘은 전체 정보 기반 동적 프로그래밍으로부터 얻은 Q-값에 매우 가까운 Q-값을 달성하였다.
• 스마트 그라이드 애플리케이션에서 유한 시간 범위 Q-학습은 재생 가능 에너지를 포함할 경우 평균 비용을 0.1152로 감소시켰고, '수요 충족' 기준 전략은 0.7857이었다.
• '배터리 충전' 기준 전략은 고수요 및 저배터리 상황에서 특히 높은 비용(예: 5.6629)을 기록했고, 이는 유한 시간 범위 Q-학습보다 훨씬 높았다.
• 재생 가능 에너지 생성을 포함함으로써 고수요 상황에서 평균 비용이 90% 이상 감소하여 비용 효율성에 미치는 영향을 입증하였다.
• 모든 테스트 시나리오에서 알고리즘이 두 기준 전략을 모두 압도했으며, 재생 가능 및 비재생 가능한 환경 모두에서 일관된 비용 감소를 보였다.