[論文レビュー] Finite Horizon Q-learning: Stability, Convergence, Simulations and an application on Smart Grids

Vivek VP, Shalabh Bhatnagar|arXiv (Cornell University)|Oct 27, 2021

Smart Grid Energy Management被引用数 5

ひとこと要約

本稿では、段階に依存する遷移確率と報酬を有する有限履歴のマルコフ決定過程（MDP）に対して、段階に依存する動的特性と報酬を有する有限履歴Q学習アルゴリズムを提案し、通常微分方程式（O.D.E.）法を用いてその確実な収束性と安定性を証明している。このアルゴリズムは、スマートグリッドのエネルギー管理においてベースライン戦略を上回り、再生可能エネルギーおよび非再生可能エネルギーの両シナリオにおいて平均コストを顕著に削減している。

ABSTRACT

Q-learning is a popular reinforcement learning algorithm. This algorithm has however been studied and analysed mainly in the infinite horizon setting. There are several important applications which can be modeled in the framework of finite horizon Markov decision processes. We develop a version of Q-learning algorithm for finite horizon Markov decision processes (MDP) and provide a full proof of its stability and convergence. Our analysis of stability and convergence of finite horizon Q-learning is based entirely on the ordinary differential equations (O.D.E) method. We also demonstrate the performance of our algorithm on a setting of random MDP as well as on an application on smart grids.

研究の動機と目的

• 段階に依存する遷移確率と報酬を有する有限履歴マルコフ決定過程（MDP）に適したQ学習アルゴリズムの開発。
• 確率的近似フレームワークとO.D.E.法を用いて、有限履歴Q学習の厳密な安定性および収束解析の提供。
• ランダムMDPおよびマイクログリッドエネルギー管理を含む実世界のスマートグリッドアプリケーションにおけるアルゴリズム性能の実証。
• 完全なモデル情報が入手不可な状況下でも、アルゴリズムが最適Q値に収束することの証明。

提案手法

• アルゴリズムは、N段階にわたり段階に依存するQ値更新を組み込むことで、標準的Q学習を有限履歴MDPに拡張している。
• 時間に依存する学習率を用いた確率的近似フレームワークを採用し、サンプルされた状態-行動-報酬-次状態遷移に基づいてQ値を更新している。
• O.D.E.法を用いて収束を確立し、Q値の再帰的更新が最適Q値にほとんど確実に収束することを示している。
• 遷移関数および報酬関数における時間依存性を明示的にモデル化することで、非定常な動的特性と報酬に対処している。
• 実験においてランダムMDPおよびスマートグリッドMDPの両方で、学習済みQ値の妥当性を確認するために動的計画法ベースラインを用いている。
• スマートグリッドアプリケーションでは、状態（需要、バッテリ、価格）、行動（グリッドからの購入、バッテリの放電）、コストに基づく報酬を有する有限履歴MDPとしてマイクログリッド意思決定をモデル化している。

実験結果

リサーチクエスチョン

• RQ1 段階に依存する動的特性と報酬を有する有限履歴MDPにおいて、Q学習アルゴリズムを厳密に収束させることができるか？
• RQ2 提案された有限履歴Q学習アルゴリズムは、モデル情報が部分的にしか入手できない状況下でも安定性を保ち、最適Q値に収束するか？
• RQ3 エネルギー管理タスクにおいて、有限履歴Q学習の性能はベースラインヒューリスティクスと比べてどのように異なるか？
• RQ4 再生可能エネルギーの供給が、マイクログリッド管理における運用コストをどの程度低減するか？

主な発見

• 有限履歴Q学習アルゴリズムは、O.D.E.法を用いて証明されたように、最適Q値にほとんど確実に収束する。
• ランダムMDPにおいて、アルゴリズムは完全情報に基づく動的計画法によって得られるQ値に近い値を達成している。
• スマートグリッドアプリケーションにおいて、有限履歴Q学習は再生可能エネルギーを組み込むと平均コストを0.1152にまで低下させたのに対し、「需要を満たす」ベースラインでは0.7857であった。
• 「バッテリを満充電する」ベースラインは、特に需要が高くバッテリ残量が少ない状況では著しく高いコスト（例：5.6629）を発生させたが、有限履歴Q学習はそれらを上回った。
• 再生可能エネルギーの導入により、高需要シナリオにおいて平均コストが90％以上削減された。これは、コスト効率への影響を示している。
• アルゴリズムは、すべてのテストシナリオにおいて両ベースラインを上回り、再生可能および非再生可能両設定において一貫したコスト削減効果を示した。