[論文レビュー] Residential Demand Response Applications Using Batch Reinforcement Learning

Frederik Ruelens, Bert Claessens+4 more|arXiv (Cornell University)|Apr 8, 2015

Smart Grid Energy Management参考文献 29被引用数 13

ひとこと要約

本稿では、住宅用需要応答のためのバッチ強化学習フレームワークを提案し、外生的予測を扱えるようにフィットしたQ反復を拡張するとともに、単調性に関する専門知識を用いたポリシー調整手法を導入している。さらに、モデルフリーなモンテカルロ推定器を提示し、1日先の消費計画を生成する。電気給湯器およびヒートポンプを用いた実験では、27%の性能向上と11%のコスト削減を達成した。

ABSTRACT

Driven by recent advances in batch Reinforcement Learning (RL), this paper contributes to the application of batch RL to demand response. In contrast to conventional model-based approaches, batch RL techniques do not require a system identification step, which makes them more suitable for a large-scale implementation. This paper extends fitted Q-iteration, a standard batch RL technique, to the situation where a forecast of the exogenous data is provided. In general, batch RL techniques do not rely on expert knowledge on the system dynamics or the solution. However, if some expert knowledge is provided, it can be incorporated by using our novel policy adjustment method. Finally, we tackle the challenge of finding an open-loop schedule required to participate in the day-ahead market. We propose a model-free Monte-Carlo estimator method that uses a metric to construct artificial trajectories and we illustrate this method by finding the day-ahead schedule of a heat-pump thermostat. Our experiments show that batch RL techniques provide a valuable alternative to model-based controllers and that they can be used to construct both closed-loop and open-loop policies.

研究の動機と目的

• システム同定およびパrameter推定を要するモデルベースの需要応答コントローラーの限界を解消すること。
• システムダイナミクスや解法構造に関する事前知識を必要としない、住宅用需要応答へのバッチ強化学習の適用。
• 気象や電力料金などの外生変数の予測をフィットしたQ反復に組み込むこと。
• 専門知識に基づく制御ポリシーの単調性に関する制約を活用し、ポリシー性能を向上させる手法の開発。
• システムモデルを必要としない、モデルフリーなモンテカルロ推定器を用いたオープンループ1日先スケジューリング問題の解決。

提案手法

• 外生的予測データを入力特徴量として追加することで、不確実性下でのより良いポリシー学習を可能にする、フィットしたQ反復の拡張。
• 専門知識に基づく制御ポリシー行動の単調性制約を強制するポリシー調整技術の導入。
• Q値に基づくメトリクスを用いて人工的軌道を構築する、モデルフリーなモンテカルロ推定器の提案。
• 履歴データのバッチを用いてポリシーを学習し、Qラーニングなどのオンポリシー手法と比較して、経験の再利用を効率的に行い、収束を加速。
• 計画値と実測値の乖離をペナルティとするコスト関数を採用し、精度とロバストネスのバランスを調整するハイパーパrameter α を導入。
• 動的料金下で、電気給湯器やヒートポンプなどの実世界の住宅負荷に本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 バッチ強化学習は、住宅用需要応答において、予測された外生的データを効果的に扱えるように拡張可能か？
• RQ2 専門知識に基づくポリシーの単調性をバッチRLに統合することで、性能向上が達成可能か？
• RQ3 システムモデルを必要としないモデルフリーなモンテカルロ推定器は、システムモデルなしで信頼性のある1日先消費計画を生成可能か？
• RQ4 従来のモデルベースコントローラーと比較して、バッチRLで達成可能な性能向上はどの程度か？
• RQ5 経験バッチのサイズが、1日先スケジューリングの精度およびポリシー収束に与える影響は？

主な発見

• 外生的予測入力を組み込んだ拡張されたフィットしたQ反復は、ヒートポンプサーモスタットのシナリオにおいて、標準的なフィットしたQ反復と比較して27%の性能向上を達成した。
• 専門家によるポリシー調整手法により、電気給湯器実験において60日間で総コストを11%削減し、単調性制約の統合の価値を示した。
• モデルフリーなモンテカルロ推定器は、最適コントローラーと比較して平均性能指標Mが0.81であったことから、高い計画精度を達成した。
• バッチサイズが大きくなるに従い、計画値と実測値の乖離が減少し、より多くのデータでロバストネスが向上した。
• システムモデルを必要としない効果的なオープンループスケジューリングを実現し、1日先電力市場への参加を可能にした。
• バッチRL技術は、適応性の高さとシステム同定の必要性の低減という点で、従来のモデルベースアプローチを上回った。