[論文レビュー] A fully backward representation of semilinear PDEs applied to the control of thermostatic loads in power systems

Lucas Izydorczyk, Nadia Oudjane+1 more|arXiv (Cornell University)|Apr 28, 2021

Stochastic processes and financial applications参考文献 38被引用数 4

ひとこと要約

本稿では、電力システムにおける制御負荷の管理を目的として、確率的制御に生じる半線形PDEを解くための完全後向き確率的手法を提案する。時間反転拡散過程を用いて回帰グリッドを時間的に後向きにシミュレートすることで、関連する状態空間領域に計算リソースを自発的に集中させ、全グリッドを保存する必要がなくなり、従来の前向き・後向きモンテカルロ手法に比べてメモリ効率と計算性能が著しく向上する。

ABSTRACT

We propose a fully backward representation of semilinear PDEs with application to stochastic control. Based on this, we develop a fully backward Monte-Carlo scheme allowing to generate the regression grid, backwardly in time, as the value function is computed. This offers two key advantages in terms of computational efficiency and memory. First, the grid is generated adaptively in the areas of interest and second, there is no need to store the entire grid. The performances of this technique are compared in simulations to the traditional Monte-Carlo forward-backward approach on a control problem of thermostatic loads.

研究の動機と目的

• 確率的制御問題に由来する半線形PDEの数値解法における高次元状態空間とメモリ制限の課題に対処すること。
• 全グリッドの保存を必要とし、状態空間全体に均等にサンプリングする従来の前向き・後向きモンテカルロ手法の非効率性を克服すること。
• 必要な箇所でのみ回帰グリッドを自発的に生成する確率的数値手法を開発し、計算効率を向上させること。
• 特に、ハミルトニアン・ジャコビ・ベルマン（HJB）フレームワークを用いた電力システムにおける需要側管理、特に制御負荷の制御にこの手法を適用すること。
• 時間反転拡散を用いた後向きグリッド生成が、実用的シミュレーションにおいてメモリ使用量を削減し、性能を向上させることを示すこと。

提案手法

• 本手法は、時間反転拡散過程を前向き過程として用いる完全後向き確率的表現により、半線形PDEを表現する。
• 終期時刻から時間的に後向きに回帰点をシミュレートし、適切に選ばれた終期分布を持つ拡散過程の時間反転を用いる。
• 条件付き期待値を用いて値関数を後向きに計算し、回帰に必要な場合にのみグリッド点を生成することで、全グリッドの保存を回避する。
• 後向きSDE（BSDE）によるHJB方程式の確率的表現を活用し、前向き過程はオーナイズ・ウーレンボルグ型のダイナミクスに従う。
• 時間反転技術により、シミュレートされたパスが関心領域に集中し、サンプリング効率が向上する。
• ネストされた条件付き期待値を回避するため、後向き時間における回帰グリッド生成を用いることで、計算オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 全回帰グリッドを保存する必要がない完全後向きモンテカルロスキームを、半線形PDEに対して構築可能か？
• RQ2 時間反転拡散による後向きグリッド生成は、高次元確率的制御問題における計算効率とメモリ使用量にどのように寄与するか？
• RQ3 事前に値関数の知識が得られない状況下でも、このアプローチが関心領域にサンプリングを自発的に集中させられる程度はどの程度か？
• RQ4 制御負荷制御の文脈において、完全後向きスキームは古典的前向き・後向きモンテカルロ手法と比較して、精度と実行時間の両面で優れているか？
• RQ5 前向き拡散過程の選択が、後向きスキームの効率に与える影響は何か？

主な発見

• 完全後向きスキームにより、全回帰グリッドを保存する必要がなくなり、従来の前向き・後向きモンテカルロ手法と比較して、顕著にメモリ使用量が削減される。
• 本手法は、解に関連する領域でのみグリッド点を自発的に生成するため、サンプリング効率と計算の的を絞った集中が可能になる。
• 制御負荷制御問題におけるシミュレーションでは、後向きスキームが古典的手法を上回る計算効率とスケーラビリティを示している。
• 拡散過程の時間反転により、生成されたパスが値関数が最も感度が高い領域に集中し、回帰の精度が向上する。
• 多項式成長および係数の局所リプシッツ条件といった標準的仮定のもとで、本スキームは安定性と収束性を維持する。
• 本手法は、高次元状態空間を有する広範な半線形PDEおよび確率的制御問題に一般化可能である。