[논문 리뷰] Multi-agent Reinforcement Learning Embedded Game for the Optimization of Building Energy Control and Power System Planning

Jun Hao|arXiv (Cornell University)|2019. 01. 17.

Smart Grid Energy Management참고 문헌 61인용 수 6

한 줄 요약

이 논문은 학술 및 상업 건물의 난방· Ventilation· 에어컨(HVAC) 제어 및 전력 시스템 계획을 최적화하기 위해 다중 에이전트 강화학습(MARL)을 통합한 게임 이론 프레임워크를 제안한다. 건물 관리자를 사회적 비용(에너지 비용과 생산성 손실의 합)을 최소화하는 게임의 플레이어로 모델링함으로써, 실시간 요금제와 강화학습을 활용해 전통적인 게임 이론보다 빠르게 내쉬 균형에 도달하며 에너지 비용을 절감하고 실내 쾌적함을 유지한다.

ABSTRACT

Most of the current game-theoretic demand-side management methods focus primarily on the scheduling of home appliances, and the related numerical experiments are analyzed under various scenarios to achieve the corresponding Nash-equilibrium (NE) and optimal results. However, not much work is conducted for academic or commercial buildings. The methods for optimizing academic-buildings are distinct from the optimal methods for home appliances. In my study, we address a novel methodology to control the operation of heating, ventilation, and air conditioning system (HVAC). With the development of Artificial Intelligence and computer technologies, reinforcement learning (RL) can be implemented in multiple realistic scenarios and help people to solve thousands of real-world problems. Reinforcement Learning, which is considered as the art of future AI, builds the bridge between agents and environments through Markov Decision Chain or Neural Network and has seldom been used in power system. The art of RL is that once the simulator for a specific environment is built, the algorithm can keep learning from the environment. Therefore, RL is capable of dealing with constantly changing simulator inputs such as power demand, the condition of power system and outdoor temperature, etc. Compared with the existing distribution power system planning mechanisms and the related game theoretical methodologies, our proposed algorithm can plan and optimize the hourly energy usage, and have the ability to corporate with even shorter time window if needed.

연구 동기 및 목표

• 학술 및 상업 건물의 수요 측 관리에 미치는 격차를 해결하기 위해, HVAC 시스템이 에너지 소비를 주도하고 직원 생산성에 영향을 미치는 환경에서의 문제를 다루기 위함이다.
• 에너지 또는 비용 절감에만 집중하는 것이 아니라, 에너지 지출과 감소된 작업 생산성의 금전적 가치의 합인 사회적 비용을 최소화하는 제어 전략을 개발하기 위함이다.
• 건물 관리자를 비협력 게임의 합리적 에이전트로 모델링하여, 각자의 목표를 달성하고 집단적 결과를 최적화하기 위해 실내 온도 설정을 전략으로 삼기 위함이다.
• 대규모 시스템에서 전통적인 게임 이론 방법의 계산 비효율성을 해결하기 위해 강화학습(RL)을 통합하여 내쉬 균형에 빠르게 수렴하도록 하기 위함이다.
• 유니버시티 오브 덴버 캠퍼스 스마트그리드를 대상으로 프레임워크를 구현하여 실시간 요금제와 동적 점유율 데이터를 활용해 현실적인 시뮬레이션을 수행하기 위함이다.

제안 방법

• 각 건물 관리자가 플레이어인 비협력 게임을 수립하고, 개인의 사회적 비용을 최소화하기 위해 실내 온도를 설정하는 전략을 취하도록 한다.
• 사회적 비용을 실시간 지정가격 기반 에너지 비용과 열적 쾌적함 영향에 기반한 생산성 손실의 금전적 평가의 합으로 정의한다.
• 외부 온도, 점유율 수준, 실시간 전기 요금을 포함한 상태 표현을 사용하는 마르코프 결정 과정(MDP) 프레임워크를 사용한다.
• Q-학습 기반 다중 에이전트 강화학습(MARL)을 활용하여, 환경과의 상호작용과 사회적 비용 피드백을 통해 에이전트가 최적의 온도 설정을 학습하도록 한다.
• 스마트그리드 환경을 시뮬레이션하고 학습 및 의사결정을 가속화하기 위해 병렬 계산 기법을 통합한다.
• 내쉬 균형이 사회적 비용 함수의 전역 최소값과 일치함을 증명하기 위해 새로운 최적화 문제(Ψ)를 적용한다.

실험 결과

연구 질문

• RQ1 고도로 HVAC 에너지 소비가 발생하는 학술 및 상업 건물에서 게임 이론적 접근이 에너지 비용과 거주자 생산성 간의 균형을 효과적으로 유지할 수 있는가?
• RQ2 강화학습의 통합이 대규모 건물 에너지 제어 게임에서 내쉬 균형에 도달하는 데 있어 계산 효율성을 어떻게 향상시키는가?
• RQ3 실시간 요금제와 점유율 데이터를 얼마나 효과적으로 활용하여 열처리 스케줄링을 최적화하면서도 열적 쾌적함을 유지할 수 있는가?
• RQ4 제안된 MARL 통합 게임 이론 프레임워크는 전통적인 게임 이론 방법에 비해 낮은 사회적 비용과 더 빠른 수렴을 달성하는가?
• RQ5 제안된 게임의 내쉬 균형은 사회적 비용 함수의 전역 최소값과 동일한가?

주요 결과

• 제안된 MARL 통합 게임 이론 프레임워크는 내쉬 균형에서 사회적 비용 최소화를 달성하며, 이론적으로 균형이 사회적 비용 함수의 전역 최소값과 일치함을 증명하였다.
• 강화학습은 전통적인 게임 이론 방법에 비해 계산 시간을 크게 단축시키며, 건물 수나 전략 수가 증가할수록 그 효과가 두드러진다.
• 시뮬레이션 결과는 알고리즘이 실시간 전기 요금과 점유율 수준에 따라 실내 온도를 적절히 조절하여 쾌적함을 허용 범위 내로 유지함을 보여주었다.
• 기본 전략 대비 건물당 에너지 비용과 캠퍼스 전체 전기 요금이 감소하였으며, 거주자 생산성에 영향을 주지 않았다.
• 프레임워크는 확장성과 적응성을 입증하였으며, 짧은 시간 창구나 변동성이 큰 전력 시스템 조건(예: 변동하는 실시간 요금 및 재생 에너지 생산)에도 대응할 수 있었다.