[논문 리뷰] Rethink AI-based Power Grid Control: Diving Into Algorithm Design

Xiren Zhou, Siqi Wang외 4명|arXiv (Cornell University)|2020. 12. 23.

Reinforcement Learning in Robotics참고 문헌 10인용 수 5

한 줄 요약

이 논문은 복잡한 강화학습(RL) 학습을 피하기 위해 직접 전력망 운영 상태를 최적의 제어 조치로 매핑함으로써 AI 기반 전력망 전압 제어를 위한 유사학습 기반 접근법을 제안한다. 이 방법은 해결 가능한 케이스에 대해 한 번의 단계로 해결할 수 있으며, DRL 에이전트에 비해 훨씬 더 짧은 학습 시간과 뛰어난 일반화 능력을 확보하여 샘플 효율성과 강건성 면에서 SAC 및 DQN 기반 모델을 능가한다.

ABSTRACT

Recently, deep reinforcement learning (DRL)-based approach has shown promisein solving complex decision and control problems in power engineering domain.In this paper, we present an in-depth analysis of DRL-based voltage control fromaspects of algorithm selection, state space representation, and reward engineering.To resolve observed issues, we propose a novel imitation learning-based approachto directly map power grid operating points to effective actions without any interimreinforcement learning process. The performance results demonstrate that theproposed approach has strong generalization ability with much less training time.The agent trained by imitation learning is effective and robust to solve voltagecontrol problem and outperforms the former RL agents.

연구 동기 및 목표

• 딥 강화학습(DRL)이 전력망 전압 제어에 적용될 때 샘플 효율성과 보상 함수 설계 측면에서 나타나는 한계를 해결하기 위해.
• 전압 제어에서 마르코프 결정 과정(MDP)의 기본 구조를 분석하며, 상태 표현, 알고리즘 선택 및 보상 설계에 중점을 둔다.
• 직접 전력망 상태를 제어 조치로 매핑함으로써 DRL에 비해 더 효율적이고 강건한 대안을 개발하기 위해 유사학습을 활용한다.
• SGCC 장쑤에서 확보한 실제 전력망 데이터를 바탕으로 제안된 방법을 검증하여 뛰어난 일반화 능력과 빠른 수렴 성능을 입증한다.

제안 방법

• 저자들은 버스 전압, 위상, 선로 유량, 발전기의 유효/무효 전력 등으로부터 유도된 상태공간을 갖는 연속 상태, 연속 행동 MDP로 전압 제어를 모델링한다.
• 에이전트가 각 에피소드의 최종 성공 조치에서 학습하도록 유도하기 위해 종료 성공을 강조하는 보상 함수를 제안한다.
• 성공적인 에피소드에서 수집된 전문가 시범 데이터를 기반으로 유사학습 에이전트를 훈련한다. 각 시범은 성공적인 전이에서 유도된 상태-행동 쌍으로 구성된다.
• 전체 9,433개의 훈련 케이스에서 유래한 전문가 시범 데이터셋 D는 1,000단계 에피소드에서의 성공적인 전이 상태-행동 쌍을 포함한다.
• 유사학습 에이전트는 보상 형상 조정이나 하이퍼파rameter 조정 없이도 임의의 상태 s를 한 번의 행동 a로 전압 위반을 해결하는 정책 π를 학습한다.
• 주성분 분석(PCA)을 사용하여 상태공간 내에서 해결 가능한 경우와 해결 불가능한 경우의 분포를 분석하였으며, 뚜렷한 경계선을 확인하였다.

실험 결과

연구 질문

• RQ1 상태공간과 보상 함수의 설계가 전압 제어에서 DRL 에이전트의 샘플 효율성과 수렴에 어떤 영향을 미치는가?
• RQ2 유사학습 접근법이 전력망 전압 제어에서 학습 속도, 일반화 능력, 강건성 측면에서 DRL 에이전트를 능가할 수 있는가?
• RQ3 실제 전력망 전압 위반 케이스 중에서 발전기 전압 설정값 조정만으로는 본질적으로 해결 불가능한 비율은 어느 정도인가?
• RQ4 상태공간 내에서 해결 가능한 경우와 해결 불가능한 경우 사이에 명확한 구조적 차이가 존재하는가?

주요 결과

• 유사학습 에이전트는 훈련 세트와 테스트 세트에서 모두 100%의 한 번에 해결 비율을 기록하여 모든 해결 가능한 케이스를 한 번의 행동으로 해결하였다.
• 유사학습 에이전트는 DRL 에이전트에 비해 훨씬 적은 학습 시간이 소요되었으며, 복잡한 보상 함수 설계나 하이퍼파rameter 조정이 필요로 하지 않았다.
• 이 방법은 강력한 일반화 능력을 보였으며, 시범 데이터가 테스트 케이스의 초기 상태와 다를 경우에도 97.9%의 테스트 케이스가 한 번에 해결되었다.
• PCA 분석을 통해 상태공간 내에서 해결 가능한 경우와 해결 불가능한 경우 사이에 뚜렷한 경계선이 존재하는 것으로 확인되었으며, 테스트 케이스의 2.1%는 전압 설정값 제어로는 본질적으로 해결 불가능한 것으로 나타났다.
• 탐욕적 행동 선택을 사용한 SAC 에이전트는 훈련 세트에서는 100%의 한 번에 해결 비율을 기록했지만, 테스트 세트에서는 97.8%에 그쳤고, 반면 유사학습 에이전트는 테스트 세트에서도 97.9%의 한 번에 해결 비율을 유지하였다.
• 랜덤 정책은 1,000단계 이내에 훈련 케이스의 98.7%와 테스트 케이스의 98.7%를 해결했으며, 이는 약 1.3%의 케이스가 어려움 또는 해결 불가능한 것으로 나타났다.