[論文レビュー] Backward Approximate Dynamic Programming with Hidden Semi-Markov Stochastic Models in Energy Storage Optimization

Joseph L. Durante, Juliana Nascimento+1 more|arXiv (Cornell University)|Oct 11, 2017

Smart Grid Energy Management参考文献 33被引用数 11

ひとこと要約

本稿では、予測誤差の分布とクロスオーバー時間（予測値を上回るまたは下回る期間）を捉えることで、風力統合型システムにおけるエネルギー貯蔵の最適化を可能にする、新しい隠れ半マルコフモデル（HSMM）を用いたバックワード近似動的計画法（ADP）フレームワークを提案する。これは、強固な制御方策設計に不可欠である。HSMMに基づくモデルは、標準的なマルコフモデルや平均回帰モデルに比べて優れた性能を示し、特に価格の急騰が頻発する極端な気温条件下でも、より強固で収益性の高い制御方策を実現する。

ABSTRACT

We consider an energy storage problem involving a wind farm with a forecasted power output, a stochastic load, an energy storage device, and a connection to the larger power grid with stochastic prices. Electricity prices and wind power forecast errors are modeled using a novel hidden semi-Markov model that accurately replicates not just the distribution of the errors, but also crossing times, capturing the amount of time each process stays above or below some benchmark such as the forecast. This is an important property of stochastic processes involved in storage problems. We show that we achieve more robust solutions using this model than when more common stochastic models are considered. The new model introduces some additional complexity to the problem as its information states are partially hidden, forming a partially observable Markov decision process. We derive a near-optimal time-dependent policy using backward approximate dynamic programming, which overcomes the computational hurdles of classical (exact) backward dynamic programming, with higher quality solutions than the more familiar forward approximate dynamic programming methods.

研究の動機と目的

• 電力価格と風力予測誤差の両方に高い不確実性が伴う風力統合型システムにおける、より強固なエネルギー貯蔵制御方策の開発を目的とする。
• 標準的な時系列モデル（例：ARモデル）が、風力出力が予測値を上回る・下回る期間（クロスオーバー時間）を捉えられていないという限界を是正すること。これは、長期的な貯蔵計画において極めて重要である。
• 温度予報を説明変数として組み込むことで、HSMMフレームワークを拡張し、電力価格の確率的変動をより現実的にモデル化すること。これにより、価格スパイクの頻度と大きさの再現性が向上する。
• 異なる確率的価格モデルで学習されたADP方策の性能を、気温および風力条件の変化に応じて評価し、最悪事態における強度を強調すること。
• 従来のモデルに比べ、HSMMベースのモデリングが極端な気象条件下でも収益性が高く、より耐性のある制御方策を実現することを示すこと。

提案手法

• 本稿では、風力出力の予測誤差を、誤差の分布と、予測値を上回る・下回る期間を同時に捉える1変量クロスオーバー状態隠れ半マルコフモデル（HSMM）でモデル化する。
• 電力価格は、温度予報に条件付けられたHSMMでモデル化され、価格スパイク行動に影響を与える説明変数として、離散化された温度ボックスが用いられる。
• 情報状態のコンパクト表現として、$\tilde{I}_t^P = (C_t^P, D_t^P, \hat{P}_t^b)$ を定義する。ここで、$C_t^P$ と $D_t^P$ はそれぞれ現在のクロスオーバー状態とその継続時間であり、$\hat{P}_t^b$ はベース価格の偏差を表す。
• 計算上の非効率性を回避しつつ、正確なバックワードDPの計算困難性を克服するため、近似動的計画法（ADP）をバックワードに適用し、時間依存の近似最適方策を計算する。この手法は、正確なバックワードDPよりも解の質が高く、フォワードADPよりも優れている。
• 価値関数は、事後状態におけるテーブルルックアップにより近似され、離散化により、異なる価格モデル間での一貫した状態空間サイズを確保し、公平な比較を可能にする。
• 方策は、通常の状態と最悪事態の風力および価格サンプルパスの組み合わせを用いて学習され、気温の3条件（寒冷、平均、高温）の下で性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 クロスオーバー状態HSMMを用いて風力予測誤差をモデリングすることで、標準的なARモデルに比べ、エネルギー貯蔵制御方策の強度がどの程度向上するか？
• RQ2 温度予報を電力価格モデルに条件付けた場合、価格スパイク行動の現実性と予測精度がどの程度向上するか？
• RQ3 HSMMベースの価格モデルを用いたバックワードADPは、極端な気象条件下でフォワードADPや標準的な確率的モデルに比べ、より収益性が高く、耐性のある方策を生み出すか？
• RQ4 マルコフ連鎖、平均回帰付きジャンプ・ディフュージョン（MRJD）、HSMMといった異なる確率的価格モデルは、気温および風力条件の変化に応じて、どの程度の性能差を示すか？
• RQ5 HSMMフレームワークは、リアルタイム電力市場における価格誤差、クロスオーバー時間、および面積（余剰／不足）の同時分布を正確に再現できるか？

主な発見

• HSMMベースの方策は、全テストケースにおいて最高の平均利益を達成した。平均気温下では中央値利益が-757米ドルであり、マルコフモデルと同等の性能を示した。
• 高温下の最悪事態において、HSMM方策はマルコフモデルおよびMRJDモデルを上回り、-2,687米ドルの利益を達成したのに対し、それぞれ-2,772米ドルおよび-3,332米ドルであった。
• 高温日における頻発する大規模な価格スパイクの状況下で、HSMMモデルはMRJDモデルに比べ、損失を600米ドル以上削減する優れた強度を示した。
• 温度予報を説明変数として組み込むことで、モデルの価格スパイクのタイミング、頻度、大きさの予測能力が顕著に向上した。特に極端な高温時において顕著であった。
• HSMMを用いたバックワードADPフレームワークは、フォワードADPよりも高品質な解を生成し、情報状態が部分的に観測可能であるという制約にもかかわらず、効率的な計算を可能にした。
• コンパクトな情報状態表現 $\tilde{I}_t^P = (C_t^P, D_t^P, \hat{P}_t^b)$ は、管理可能な状態空間サイズを維持しつつ、効果的な価値関数近似を可能にし、スケーラブルな方策学習を支援した。