[논문 리뷰] CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management

José R. Vázquez-Canteli, Sourav Dey외 2명|arXiv (Cornell University)|2020. 12. 18.

Smart Grid Energy Management참고 문헌 16인용 수 44

한 줄 요약

이 논문은 수요 반응 및 도시 에너지 관리에 대한 다중 에이전트 강화 학습 연구를 표준화하기 위한 OpenAI Gym 환경 CityLearn와 연구 진전을 촉진하는 CityLearn Challenge를 소개한다.

ABSTRACT

Rapid urbanization, increasing integration of distributed renewable energy resources, energy storage, and electric vehicles introduce new challenges for the power grid. In the US, buildings represent about 70% of the total electricity demand and demand response has the potential for reducing peaks of electricity by about 20%. Unlocking this potential requires control systems that operate on distributed systems, ideally data-driven and model-free. For this, reinforcement learning (RL) algorithms have gained increased interest in the past years. However, research in RL for demand response has been lacking the level of standardization that propelled the enormous progress in RL research in the computer science community. To remedy this, we created CityLearn, an OpenAI Gym Environment which allows researchers to implement, share, replicate, and compare their implementations of RL for demand response. Here, we discuss this environment and The CityLearn Challenge, a RL competition we organized to propel further progress in this field.

연구 동기 및 목표

• 도시 규모의 에너지 시스템을 위한 표준화되고 데이터 기반이며 모델-프리 RL 연구를 촉진한다.
• 수요 반응을 위한 RL 접근법을 구현하고 공유하며 재현하고 비교할 수 있는 재사용 가능한 개방형 환경을 제공한다.
• 도시 에너지 관리 연구 전반에서 재현성 및 공정한 벤치마킹을 촉진한다.
• 건물의 분산 제어를 통해 RL이 전력 피크 수요를 감소시키는 가능성을 보여준다.

제안 방법

• 에너지 관리에서 다중 에이전트 RL를 위한 OpenAI Gym 환경으로 CityLearn를 도입한다.
• RL 알고리즘의 구현, 공유 및 재현을 가능하게 하는 환경 설정 및 인터페이스를 설명한다.
• 수요 반응 시나리오에서 RL 방법을 벤치마킹하고 비교하기 위한 프레임워크를 제시한다.
• 연구자들 간의 경쟁을 촉진하고 진전을 가속화하기 위해 CityLearn Challenge를 조직한다.

실험 결과

연구 질문

• RQ1 표준화된 RL 환경이 수요 반응 및 도시 에너지 관리에서 재현성과 공정한 벤치마킹을 어떻게 촉진할 수 있는가?
• RQ2 CityLearn를 사용한 다중 에이전트 RL이 도시 규모 에너지 시스템에서 meaningful 수요 반응 및 피크 억제를 달성할 수 있는가?
• RQ3 도시 그리드에서 건물, 부하 및 에너지 자원을 현실적으로 모델링하는 환경의 주요 설계 고려사항은 무엇인가?

주요 결과

• CityLearn은 수요 반응을 위한 RL 접근법의 구현, 공유, 재현 및 비교를 가능하게 한다.
• The CityLearn Challenge가 도시 에너지 관리를 위한 RL의 진전을 촉진하기 위해 제안되었으며(초록에 조직적 세부사항이 참조되어 있음).
• 환경은 건물 단위 에너지 관리에서 분산 제어 및 데이터 기반의 모델-프리 RL 방법을 지원한다.
• 이 접근 방식은 분산 자원의 협력 제어를 통해 전력 수요의 피크를 감소시키는 것을 목표로 한다.