[논문 리뷰] Multi-Agent Safe Policy Learning for Power Management of Networked Microgrids

Qianzhi Zhang, Kaveh Dehghanpour외 3명|arXiv (Cornell University)|2019. 07. 03.

Microgrid Control and Optimization참고 문헌 25인용 수 6

한 줄 요약

이 논문은 네트워크화된 마이크로그리드에서 최적의 제약 인지 기반 전력 관리에 대한 지도형 다중 에이전트 안전 정책 학습(SMAS-PL) 프레임워크를 제안한다. 분산 정책 기울기 방법에 AC 전력 흐름 방정식과 운영 제한 조건을 통합함으로써, 기울기 기반 제약 처리를 통해 안전하고 타당한 제어 결정을 보장하며, 대규모 최적화 문제를 다시 풀지 않고도 실시간 디스패치를 가능하게 한다.

ABSTRACT

This paper presents a supervised multi-agent safe policy learning (SMAS-PL) method for optimal power management of networked microgrids (MGs) in distribution systems. While conventional reinforcement learning (RL) algorithms are black-box decision models that could fail to satisfy grid operational constraints, our proposed method is constrained by AC power flow equations and other operational limits. Accordingly, the training process employs the gradient information of operational constraints to ensure that the optimal control policy functions generate safe and feasible decisions. Furthermore, we have developed a distributed consensus-based optimization approach to train the agents' policy functions while maintaining MGs' privacy and data ownership boundaries. After training, the learned optimal policy functions can be safely used by the MGs to dispatch their local resources, without the need to solve a complex optimization problem from scratch. Numerical experiments have been devised to verify the performance of the proposed method.

연구 동기 및 목표

• 비제약 기반 강화 학습의 한계를 해결하기 위해, 그리드 운영 제약 조건을 위반할 수 있는 문제를 해결한다.
• 반복적 해법을 학습된 정책으로 대체함으로써 대규모 네트워크화된 마이크로그리드 최적화에서 계산 부담을 줄인다.
• 분산형 공감 기반 학습 프레임워크를 통해 마이크로그리드 간 데이터 프라이버시와 소유권을 유지한다.
• 학습된 정책가 AC 전력 흐름 제약 조건과 시스템 한계 조건 하에서 타당성과 안전성을 유지하도록 보장한다.

제안 방법

• 심화된 결정적 정책 기울기(DDPG)를 사용한 지도형 다중 에이전트 안전 정책 학습(SMAS-PL) 프레임워크를 활용한 방법.
• AC 전력 흐름 방정식과 운영 제한 조건(전압, 선로 흐름, 저장장치, DG 제한)을 정책 기울기 업데이트에 명시적인 제약 조건으로 통합한다.
• 제약 수익 함수의 기울기 정보를 사용하여 시스템 한계를 위반하는 정책 업데이트를 페널티 처리함으로써 안전한 정책 생성을 보장한다.
• 분산형 공감 기반 최적화 알고리즘을 통해 마이크로그리드 간 협업 학습을 가능하게 하며, 지역 데이터 프라이버시와 소유권을 유지한다.
• 정책는 제어 조치에 대한 다변량 정규 분포로 파arameter화되며, 기대 보상과 제약 조건 이행에 대한 기울기 상승을 통해 평균과 공분산을 업데이트한다.
• 전력 흐름 방정식에서 유도된 민감도 분석을 통해 제약 조건 수익(예: 전압, 전류, 전력 흐름 제한)의 제어 조치에 대한 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 AC 전력 흐름 또는 운영 제약 조건을 위반하지 않도록 보장하면서, 네트워크화된 마이크로그리드에서 안전하고 타당한 제어 결정을 내릴 수 있는 다중 에이전트 강화 학습 프레임워크를 설계할 수 있는가?
• RQ2 협업 정책 학습 중에 분산형 마이크로그리드 간의 프라이버시와 데이터 소유권을 어떻게 유지할 수 있는가?
• RQ3 학습된 정책이 대규모 마이크로그리드 조율에서 실시간 최적화를 얼마나 효과적으로 대체할 수 있으며, 타당성과 성능을 유지할 수 있는가?
• RQ4 시스템 제약 조건의 기울기 정보를 통합할 경우, 비제약 기반 RL에 비해 정책의 안전성과 수렴 성능이 어떻게 향상되는가?
• RQ5 기본 강화 학습 및 모델 기반 최적화 대비 비용 절감 및 제약 위반 방지 측면에서 성능 향상은 어느 정도인가?

주요 결과

• SMAS-PL 방법은 전압 한계, 선로 흐름 한계, 저장장치 운영 범위 등 모든 AC 전력 흐름 및 운영 제약 조건을 충족하는 제어 정책을 성공적으로 생성한다.
• 대규모 최적화 문제를 실시간으로 다시 풀 필요 없이 계산 비용을 절감하여 더 빠른 의사결정을 가능하게 한다.
• 수치 실험 결과, 학습된 정책는 거의 최적의 비용 성능을 달성하였으며, 기준 히우리스틱 정책 대비 디젤 연료 비용이 98.7% 감소하였다.
• 정책은 기울기 기반 제약 처리를 통해 학습되므로 실사용 시 제약 위반이 효과적으로 제거되어 안전성을 보장한다.
• 분산형 공감 기반 학습은 데이터 프라이버시를 유지하며, 각 마이크로그리드는 원시 운영 데이터를 공유하지 않고 모델 파라미터만 공유한다.
• 시스템의 불확실성과 동적 부하 변화에 대해 뛰어난 내구성을 보이며, 여러 테스트 케이스에서 안정된 성능을 유지한다.