[論文レビュー] Computing an Optimal Control Policy for an Energy Storage

Pierre Haessig, Thibaut Kovaltchouk+3 more|arXiv (Cornell University)|Apr 25, 2014

Smart Grid Energy Management参考文献 2被引用数 13

ひとこと要約

本論文では、海洋波力発電機器（SEAREV）の出力電力の平滑化に向け、最適制御方策を計算するためのStochastic Dynamic Programming（SDP）を実装したPythonベースのライブラリ、StoDynProgを提示する。この手法は、線形ヒューリスティック制御方策と比較して、平均で系統電力の変動を20％低減するが、非線形波動が強い状況ではモデルの制限により性能が低下する。

ABSTRACT

We introduce StoDynProg, a small library created to solve Optimal Control problems arising in the management of Renewable Power Sources, in particular when coupled with an Energy Storage System. The library implements generic Stochastic Dynamic Programming (SDP) numerical methods which can solve a large class of Dynamic Optimization problems. We demonstrate the library capabilities with a prototype problem: smoothing the power of an Ocean Wave Energy Converter. First we use time series analysis to derive a stochastic Markovian model of this system since it is required by Dynamic Programming. Then, we briefly describe the "policy iteration" algorithm we have implemented and the numerical tools being used. We show how the API design of the library is generic enough to address Dynamic Optimization problems outside the field of Energy Management. Finally, we solve the power smoothing problem and compare the optimal control with a simpler heuristic control.

研究の動機と目的

• 確率的動的プログラミングを用いて、エネルギー系における最適制御問題を解くための汎用的でオープンソースのライブラリの開発。
• 海洋波力発電機器（例：SEAREV）からの極めて変動が激しい出力電力を、エネルギー貯蔵を用いて平滑化する課題に対処すること。
• SDPを用いて導出された最適制御方策と、単純な線形フィードバック制御則との性能比較。
• モデルの正確さが、特に非線形波動ダイナミクス下での制御性能に与える影響の評価。

提案手法

• システムは、シミュレートされたSEAREV出力データに適合した自己回帰モデルを用いて、離散時間のマルコフ過程としてモデル化される。
• 最適制御方策は、確率的動的プログラミングの標準的手法であるポリシー反復アルゴリズムを用いて計算される。
• コスト関数は、注入される系統電力の二乗の期待長期平均として定義され、変動を抑えるためのペナルティが課される。
• 状態変数は、貯蔵システム内の蓄えられたエネルギーであり、0から定格容量（10 MJ）の間で制限される。
• 制御方策は、現在の蓄えられたエネルギーから最適な系統注入電力への状態フィードバック関数として導出される。
• 実装には、科学的計算分野でのポータビリティと再利用性を確保するため、標準的なPython科学計算ライブラリ（NumPy、SciPy）が使用される。

実験結果

リサーチクエスチョン

• RQ1 汎用的なSDPベースのライブラリは、変動が激しい再生可能エネルギーの供給を管理するエネルギー貯蔵システムの最適制御方策を効果的に計算できるか？
• RQ2 確率的動的プログラミングを用いて導出された最適方策は、波力発電出力の平滑化において、単純な線形ヒューリスティック制御方策と比較してどのように性能を発揮するか？
• RQ3 モデルの正確さ、特に線形仮定の影響が、高振幅波動条件下での最適制御方策のロバストネスにどの程度影響を及えるか？
• RQ4 最適制御とヒューリスティック制御の比較において、系統電力変動の定量的低減はどの程度達成可能か？

主な発見

• 最適制御方策は、3つの独立した1000秒間のSEAREV出力サンプルにおいて、線形ヒューリスティック制御方策と比較して、注入系統電力の標準偏差を平均で約20％低減する。
• 最適方策は、線形方策で観察された高エネルギー状態の未利用を回避し、貯蔵容量の全範囲をより効果的に活用している。
• 高出力フェーズ（例：200–220 s）では、最適方策がスパイク的な出力を示すことがあり、線形モデルの仮定との不一致が原因で、非線形ダイナミクスが強い状況で限界が現れている。
• 性能の低下は、線形状態空間モデルにおけるガウス分布仮定に起因し、4標準偏差を超える極端な加速度を捉えられていない。
• ライブラリStoDynProgは、状態空間が低次元である限り、他の工学的・生命科学分野の最適制御問題に対しても汎用的かつ再利用可能であることが示された。
• 本研究は、実世界の波力発電応用において最適制御の利点を十分に実現するためには、より正確な非線形モデルの開発が不可欠であることを強調している。