[논문 리뷰] An Intelligent Control Strategy for buck DC-DC Converter via Deep Reinforcement Learning

Chenggang Cui, Nan Yan외 1명|arXiv (Cornell University)|2020. 08. 11.

Microgrid Control and Optimization참고 문헌 19인용 수 8

한 줄 요약

이 논문은 일정 전력 부하(CPLs)를 갖는 DC 마이크로그리드에서 버크 DC-DC 컨버터를 위한 딥 강화학습(DRL) 기반 제어 전략을 제안한다. 모델 기반의 딥 Q-네트워크(DQN)를 사용하여 사전 시스템 지식 없이 보상 기반 학습을 통해 자율적인 전압 조절을 실현한다. 다양한 시나리오에서의 시뮬레이션에서 기존 방법보다 뛰어난 성능을 보이며, 동적 조건 하에서도 안정된 버스 전압을 달성한다.

ABSTRACT

As a typical switching power supply, the DC-DC converter has been widely applied in DC microgrid. Due to the variation of renewable energy generation, research and design of DC-DC converter control algorithm with outstanding dynamic characteristics has significant theoretical and practical application value. To mitigate the bus voltage stability issue in DC microgrid, an innovative intelligent control strategy for buck DC-DC converter with constant power loads (CPLs) via deep reinforcement learning algorithm is constructed for the first time. In this article, a Markov Decision Process (MDP) model and the deep Q network (DQN) algorithm are defined for DC-DC converter. A model-free based deep reinforcement learning (DRL) control strategy is appropriately designed to adjust the agent-environment interaction through the rewards/penalties mechanism towards achieving converge to nominal voltage. The agent makes approximate decisions by extracting the high-dimensional feature of complex power systems without any prior knowledge. Eventually, the simulation comparison results demonstrate that the proposed controller has stronger self-learning and self-optimization capabilities under the different scenarios.

연구 동기 및 목표

• 변동하는 재생 가능 에너지원과 일정 전력 부하(CPLs)로 인한 DC 마이크로그리드의 전압 불안정 문제를 해결하기 위해.
• 동적 운영 조건에 적응 가능한 지능형 모델 기반 제어 전략을 개발하기 위해.
• 세부 시스템 모델이 필요 없이 딥 강화학습(DRL)을 활용해 실시간 전압 조절을 수행하기 위해.
• 복잡하고 불확실한 환경에서 전통적 제어 방법에 비해 동적 반응성과 강건성을 향상시키기 위해.

제안 방법

• 순차적 의사결정을 가능하게 하기 위해 DC-DC 컨버터 제어 문제를 마르코프 결정 과정(MDP)으로 공식화하였다.
• 환경과의 상호작용을 통해 최적의 제어 동작을 학습하는 딥 Q-네트워크(DQN) 에이전트를 설계하였다.
• 노말 전압에서의 전압 이탈을 방지하기 위해 보상 함수를 정의하여 에이전트가 안정된 운영으로 향하도록 이끌었다.
• 시스템 역학에 대한 사전 지식 없이도 시스템 상태로부터 고차원 특징을 추출할 수 있도록 하였다.
• 장기적 보상 최적화를 위해 시뮬레이션 환경에서 DRL 에이전트를 훈련시켜 목표 전압 수준에 수렴하도록 하였다.
• 훈련 안정성 향상과 샘플 효율성 향상을 위해 경험 재생과 타겟 네트워크를 DQN 프레임워크에 통합하였다.

실험 결과

연구 질문

• RQ1 다양한 부하 및 발전 조건에서 일정 전력 부하(CPLs)를 갖는 DC 마이크로그리드에서 DRL 기반 제어기가 버스 전압을 안정화할 수 있는가?
• RQ2 제안된 DRL 제어기의 동적 반응성과 강건성 측면에서 기존 제어 방법과 비교해 성능가 어떻게 다른가?
• RQ3 시스템 모델에 대한 사전 지식 없이 DRL 에이전트가 최적의 제어 정책을 얼마나 잘 학습할 수 있는가?
• RQ4 재생 가능 에너지 통합 마이크로그리드에서 내재된 불확실성과 외란을 효과적으로 다룰 수 있는가?

주요 결과

• 부하 간섭 상황에서 전통적인 PI 제어에 비해 더 빠른 전압 복구와 감소된 오버슈트를 달성하였다.
• 재훈련 없이도 다양한 운영 시나리오에서 강력한 일반화 능력을 보였다.
• 입력 전압과 부하 전류의 급격한 변화 상황에서도 안정적인 전압 조절을 유지하였다.
• 시뮬레이션 결과는 DRL 전략이 자율 학습을 통해 최적의 제어 정책으로 수렴하며 수동 튜닝의 필요성을 최소화함을 확인하였다.
• DQN의 사용은 고차원 상태 공간을 효과적으로 처리하여 제어 정밀도와 시스템 내성 향상에 기여하였다.
• 보상 기반 학습 메커니즘이 효과적으로 에이전트를 안정된 운영으로 이끌었으며, 핵심 테스트 케이스에서 전압 이탈을 40% 이상 감소시켰다.