[論文レビュー] Multi-agent Reinforcement Learning Embedded Game for the Optimization of Building Energy Control and Power System Planning

Jun Hao|arXiv (Cornell University)|Jan 17, 2019

Smart Grid Energy Management参考文献 61被引用数 6

ひとこと要約

本論文は、学術的および商業的建物におけるHVAC制御および電力システム計画を最適化するため、マルチエージェント強化学習（MARL）を組み込んだゲーム理論的フレームワークを提案する。建物マネージャーを、エネルギー費用と生産性損失の社会的コストを最小化するゲームのプレイヤーとしてモデル化することで、リアルタイム料金と強化学習を用いて、従来のゲーム理論に比べてナッシュ均衡に迅速に到達し、エネルギー費用を削減するとともに室内快適性を維持する。

ABSTRACT

Most of the current game-theoretic demand-side management methods focus primarily on the scheduling of home appliances, and the related numerical experiments are analyzed under various scenarios to achieve the corresponding Nash-equilibrium (NE) and optimal results. However, not much work is conducted for academic or commercial buildings. The methods for optimizing academic-buildings are distinct from the optimal methods for home appliances. In my study, we address a novel methodology to control the operation of heating, ventilation, and air conditioning system (HVAC). With the development of Artificial Intelligence and computer technologies, reinforcement learning (RL) can be implemented in multiple realistic scenarios and help people to solve thousands of real-world problems. Reinforcement Learning, which is considered as the art of future AI, builds the bridge between agents and environments through Markov Decision Chain or Neural Network and has seldom been used in power system. The art of RL is that once the simulator for a specific environment is built, the algorithm can keep learning from the environment. Therefore, RL is capable of dealing with constantly changing simulator inputs such as power demand, the condition of power system and outdoor temperature, etc. Compared with the existing distribution power system planning mechanisms and the related game theoretical methodologies, our proposed algorithm can plan and optimize the hourly energy usage, and have the ability to corporate with even shorter time window if needed.

研究の動機と目的

• 学術的および商業的建物における需要側管理のギャップに応えること。HVACシステムはエネルギー消費の大部分を占め、利用者の生産性に影響を与える。
• エネルギー費やコスト削減に限定せず、エネルギー支出と作業生産性の低下に伴う金銭的価値の合計として定義される社会的コストを最小化する制御戦略を開発すること。
• 建物マネージャーを非協力的ゲームにおける合理的エージェントとしてモデル化し、個々の室内温度設定を戦略として用いて、個別および集団的成果を最適化すること。
• 大規模システムにおいて従来のゲーム理論的手法に見られる計算上の非効率性を克服するため、強化学習（RL）を統合してナッシュ均衡への収束を高速化すること。
• デンバー大学キャンパスのスマートグリッドを用いてフレームワークを実証し、リアルタイム料金と動的占有データを活用して現実的なシミュレーションを実施すること。

提案手法

• 各建物マネージャーをプレイヤーとする非協力的ゲームを定式化し、個人の社会的コストを最小化するための室内温度設定を戦略として定義する。
• 社会的コストを、リアルタイムのロケーションマージナルプライシングに基づくエネルギー費用と、熱的快適性への影響に基づいてモノアイズドされた生産性損失の合計として定義する。
• 外部温度、占有状況、リアルタイム電力料金を含む状態表現を用いたマルコフ決定過程（MDP）フレームワークを採用する。
• Q学習に基づくマルチエージェント強化学習（MARL）を用いて、エージェントが環境との相互作用と社会的コストのフィードバックを通じて最適な温度設定を学習できるようにする。
• 並列計算スキームを統合してスマートグリッド環境をシミュレートし、学習および意思決定の高速化を図る。
• ナッシュ均衡が社会的コスト関数のグローバル最小値に一致することを示すために、新規の最適化問題（Ψ）を適用する。

実験結果

リサーチクエスチョン

• RQ1 高エネルギー消費を示す学術的および商業的建物において、ゲーム理論的手法はエネルギー費用と利用者生産性のバランスを効果的にとれるか？
• RQ2 強化学習の統合により、大規模な建物エネルギー制御ゲームにおけるナッシュ均衡に到達するための計算効率はどのように向上するか？
• RQ3 リアルタイム料金と占有データをどの程度活用して、熱的快適性を維持しつつHVACスケジューリングを最適化できるか？
• RQ4 提案されたMARLを組み込んだゲーム理論フレームワークは、従来のゲーム理論的手法に比べて低い社会的コストとより速い収束を達成できるか？
• RQ5 提案されたゲームのナッシュ均衡は、社会的コスト関数のグローバル最小値と等価であるか？

主な発見

• 提案されたMARLを組み込んだゲーム理論的フレームワークは、ナッシュ均衡において社会的コストの最適最小化を達成し、理論的に均衡が社会的コスト関数のグローバル最小値に一致することを証明している。
• 強化学習により、建物数や戦略の数が増加するに従って、従来のゲーム理論的手法に比べて計算時間の大幅な短縮が達成された。
• シミュレーション結果から、アルゴリズムがリアルタイム電力料金と占有状況に応じて室内温度を適切に調整し、許容範囲内での熱的快適性を維持していることが示された。
• ベースライン戦略に比べて、建物1棟あたりのエネルギー費用および全体のキャンパス電力料金が削減されたが、利用者の生産性に悪影響を与えることなく実現された。
• フレームワークはスケーラビリティと適応性を示し、短い時間ウィンドウや、変動するリアルタイム料金や再生可能エネルギー供給の変化といった動的な電力システム状態に対応可能である。