[論文レビュー] Least Squares Policy Iteration with Instrumental Variables vs. Direct Policy Search: Comparison Against Optimal Benchmarks Using Energy Storage

Warren R. Scott, Warren B. Powell+1 more|arXiv (Cornell University)|Jan 4, 2014

Smart Grid Energy Management参考文献 30被引用数 12

ひとこと要約

この論文は、エネルギー貯蔵応用における最小二乗法的方策反復（LSPI）と道具変数（IV）を用いた手法を、直接的方策探索と比較している。その結果、IVに基づく最小二乗法的ベルマン誤差最小化は、標準的な最小二乗法的ベルマン誤差最小化を著しく上回るが、知識勾配を用いた直接的方策探索には及ばないことが示された。研究では、IVに基づくベルマン誤差最小化と射影ベルマン誤差最小化（MSPBE）との理論的同等性を確立し、高次元の確率的制御問題における従来の近似動的プログラミング手法の整合的で効率的な代替手法を提供している。

ABSTRACT

This paper studies approximate policy iteration (API) methods which use least-squares Bellman error minimization for policy evaluation. We address several of its enhancements, namely, Bellman error minimization using instrumental variables, least-squares projected Bellman error minimization, and projected Bellman error minimization using instrumental variables. We prove that for a general discrete-time stochastic control problem, Bellman error minimization using instrumental variables is equivalent to both variants of projected Bellman error minimization. An alternative to these API methods is direct policy search based on knowledge gradient. The practical performance of these three approximate dynamic programming methods are then investigated in the context of an application in energy storage, integrated with an intermittent wind energy supply to fully serve a stochastic time-varying electricity demand. We create a library of test problems using real-world data and apply value iteration to find their optimal policies. These benchmarks are then used to compare the developed policies. Our analysis indicates that API with instrumental variables Bellman error minimization prominently outperforms API with least-squares Bellman error minimization. However, these approaches underperform our direct policy search implementation.

研究の動機と目的

• 最小二乗法的ベルマン誤差最小化に道具変数（IV）を用いた近似方策反復（API）手法のエネルギー貯蔵応用における性能を評価すること。
• 現実的で高次元の確率的制御問題において、IVベースLSPIを標準的最小二乗法的方策反復と、知識勾配を用いた直接的方策探索と比較すること。
• 離散時間確率的制御において、道具変数ベースのベルマン誤差最小化と射影ベルマン誤差最小化（MSPBE）との理論的同等性を確立すること。
• 実世界のエネルギー貯蔵データセットを用いた価値反復により最適なベンチマークを提供し、アルゴリズムの性能を厳密に評価すること。
• 再生可能エネルギー統合の文脈において、さまざまな近似動的プログラミング戦略の実用的スケーラビリティと精度を調査すること。

提案手法

• 回帰変数が内生的であっても一貫した推定が得られるように、道具変数（IV）を用いた最小二乗法的方策反復（LSPI）によりベルマン誤差を最小化する。
• 一般条件下で、IVベースのベルマン誤差最小化が平均二乗射影ベルマン誤差（MSPBE）最小化と数学的に同等であることを証明する。
• 線形価値関数近似を用いてエネルギー貯蔵方策をモデル化し、実世界の風力および負荷データを用いてベンチマーク問題を生成する。
• 生成されたデータセットに対して価値反復を適用し、最適方策を計算することで、アルゴリズム比較のための基準となるベンチマークを提供する。
• 知識勾配を用いた直接的方策探索を実装し、APIベース手法との間で方策の質と収束性を比較する。
• 統計的一致性理論と漸近的解析を用いて、標準的仮定（外生性および道具変数の共分散行列のフルランク）の下でIV推定量の収束を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元のエネルギー貯蔵問題において、道具変数ベースの最小二乗法的方策反復（IV-LSPI）は、標準的最小二乗法的ベルマン誤差最小化よりも一貫性と精度に優れているか？
• RQ2 内生的回帰変数を有する確率的制御問題において、IVベースのベルマン誤差最小化とMSPBE最小化との理論的同等性は実際の問題に対しても成立するか？
• RQ3 知識勾配を用いた直接的方策探索は、IVベースまたは標準的LSPIに基づく近似方策反復と比較して、性能で優れているか？
• RQ4 実世界のデータを用いた価値反復により、エネルギー貯蔵問題に対して信頼性の高い最適ベンチマークを生成できるか？ これにより、近似動的プログラミング手法の厳密な評価が可能になるか？
• RQ5 時間変動する電力需要と間歇的風力供給を伴う現実的状況において、IVを用いたLSPIと直接的方策探索との間の相対的性能差は何か？

主な発見

• 実世界の最適ベンチマークとの比較において、道具変数ベースの最小二乗法的方策反復（IV-LSPI）は、標準的最小二乗法的方策反復（LSPI）よりも方策の質において著しく優れている。
• 理論的分析により、IVベースのベルマン誤差最小化が数学的に平均二乗射影ベルマン誤差（MSPBE）最小化と同等であることが証明され、近似動的プログラミングにおけるIVの使用が一貫した推定量として有効であることが裏付けられた。
• 理論的利点があるにもかかわらず、IV-LSPIは依然として知識勾配を用いた直接的方策探索に劣っていることから、この分野の問題に対しては直接的方策探索がより効果的である可能性がある。
• 実際の風力および負荷データを用いて、再現可能で厳密なアルゴリズム性能評価が可能な実世界のエネルギー貯蔵テスト問題のライブラリを構築した。
• 価値反復が成功裏に適用され、最適方策が得られ、近似手法の評価基準としてのゴールドスタンダードを提供した。
• 結果から、近似方策反復と直接的方策探索との間には性能差が生じており、複雑で高次元のエネルギー貯蔵制御問題に対しては、直接的探索戦略がより適している可能性が示された。