[논문 리뷰] Hierarchical Decision Making In Electricity Grid Management

Gal Dalal, Elad Gilboa외 1명|arXiv (Cornell University)|2016. 03. 06.

Smart Grid Energy Management참고 문헌 30인용 수 23

한 줄 요약

이 논문은 전력망의 당일 계획(DA) 및 실시간(RT) 신뢰성을 관리하기 위해 교차 작용하는 마르코프 결정 프로세스(MDP)를 사용하는 새로운 계층적 강화학습 프레임워크를 제안한다. 고수준 정책 개선과 저수준 가치 함수 근사 간의 번갈아 가며 적용되는 IAPI 알고리즘은 시뮬레이션에서 IEEE RTS-96 네트워크에서 히وري스틱보다 뛰어난 성능을 보이는 강건한 DA 정책을 학습한다. 이는 불확실성 하에서 개선된 신뢰성을 보여준다.

ABSTRACT

The power grid is a complex and vital system that necessitates careful reliability management. Managing the grid is a difficult problem with multiple time scales of decision making and stochastic behavior due to renewable energy generations, variable demand and unplanned outages. Solving this problem in the face of uncertainty requires a new methodology with tractable algorithms. In this work, we introduce a new model for hierarchical decision making in complex systems. We apply reinforcement learning (RL) methods to learn a proxy, i.e., a level of abstraction, for real-time power grid reliability. We devise an algorithm that alternates between slow time-scale policy improvement, and fast time-scale value function approximation. We compare our results to prevailing heuristics, and show the strength of our method.

연구 동기 및 목표

• 다중 시간 스케일에서 전력망 신뢰성의 비가역적 복잡성을 다루기 위해.
• 장기적 의사결정을 위한 실시간 신뢰성 영향을 근사하는 실용적인 대체 모델을 개발하기 위해.
• 불확실한 재생 가능 에너지 발전을 수반하는 대규모 제약 조건이 있는 전력 시스템에서 확장 가능하고 데이터 기반의 정책 학습을 가능하게 하기 위해.
• 시뮬레이션 환경을 통해 강화학습과 실제 전력 시스템 운영 간 격차를 메우기 위해.
• 다른 계층적, 다중 스케일의 신뢰성 중심 시스템에 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 고수준 DA MDP와 저수준 RT MDP로 구성된 이중층 MDP 구조를 수립하며, 각각 별도의 상태, 행동, 보상 공간을 가진다.
• DA 정책 개선과 RT 가치 함수 정밀화를 번갈아 수행하는 교차 근사 정책 개선(IAPI) 알고리즘을 설계한다.
• 효율적인 RT 신뢰성 결과 추정을 위해 함수 근사(예: 신경망 또는 선형 모델)를 활용한 가치 함수 근사를 사용한다.
• 예상 보상 추정 및 정책 개선 유도를 위해 1개 정책당 2000개 에피소드의 롤아웃 기반 평가를 시행한다.
• 정책 수렴 및 정책 공간 탐색을 시각화하기 위해 정책 파aram터를 주성분에 투영한다.
• IEEE RTS-96 테스트 시스템에서 프레임워크를 검증하며, 시스템 상태와 신뢰성 지표 계산에 AC 전력 흐름 방정식을 사용한다.

실험 결과

연구 질문

• RQ1 계층적 RL 프레임워크는 불확실한 전력망에서 당일 계획 및 실시간 신뢰성 의사결정을 효과적으로 관리할 수 있는가?
• RQ2 가치 함수 근사를 통한 교차 정책 개선은 히وري스틱 기반 의사결정에 비해 신뢰성 및 보상 측면에서 어떻게 비교되는가?
• RQ3 고차원적이고 제약 조건이 있는 상태-행동 공간에서 IAPI 알고리즘이 얼마나 넓게 정책 공간을 탐색하고 고성능 정책으로 수렴하는가?
• RQ4 학습된 DA 정책은 다양한 일일 수요 프로파일 간에 일반화되어 적절한 발전기 조합을 매핑할 수 있는가?
• RQ5 대체 기반 가치 근사는 대규모 전력 시스템에서 확장성과 계산의 실현 가능성에 어떤 영향을 미치는가?

주요 결과

• IAPI 알고리즘은 세 가지 일반적인 히وري스틱인 Random, Cost, Elastic보다 더 높은 기대 보상에 도달하는 당일 계획 정책을 성공적으로 학습한다.
• IAPI를 통해 학습된 정책은 명확한 클러스터링을 보이며, 일별 수요 프로파일과 해당 최적의 발전기 행동 간의 관계를 반영하여 효과적인 일반화를 보여준다.
• 주성분 투영을 통한 수렴 분석 결과, 알고리즘이 정책 공간을 탐색하고 국소 최소값으로 수렴함을 확인하여 안정적인 학습 동역학을 보여준다.
• IAPI 정책 하에서 상위 백분율 솔루션은 반복 횟수에 따라 분산이 감소하는 경향을 보이며, 정책 일관성 향상을 시사한다.
• 시뮬레이션 환경과 프레임워크는 상태 공간이 O(10^300)이고 행동 공간이 O(10^100)인 IEEE RTS-96 네트워크에서 검증되었으며, 현실적인 시스템 복잡성에 대한 확장성을 확인한다.
• 신뢰성 및 보상 측면에서 히وري스틱 기반 기준보다 성능이 뛰어나, 복잡하고 불확실한 환경에서 규칙 기반 선택보다 학습 기반 접근의 가치를 입증한다.