[論文レビュー] Regress-Later Monte Carlo for Optimal Inventory Control with applications in energy

Alessandro Balata, Jan Palczewski|arXiv (Cornell University)|Mar 19, 2017

Stochastic processes and financial applications参考文献 21被引用数 9

ひとこと要約

本稿では、エネルギーシステムにおける最適在庫管理のための「後で回帰するモンテカルロ法（RLMC）」を提案する。この手法は、時間ステップ間の在庫レベルを分離し、在庫依存性を回帰基底関数に組み込むことで、ネストされたシミュレーションを伴わない効率的な政策反復を可能にする。グリッド離散化や制御ランダム化と比較して、バッテリー支援型風力エネルギー管理のような高次元問題において優れた性能を示す。

ABSTRACT

We develop a Monte-Carlo based numerical method for solving discrete-time stochastic optimal control problems with inventory. These are optimal control problems in which the control affects only a deterministically evolving inventory process on a compact state space while the random underlying process manifests itself through the objective functional. We propose a Regress Later modification of the traditional Regression Monte Carlo which allows to decouple inventory levels in two successive time steps and to include in the basis functions of the regression the dependence on the inventory levels. We develop a backward construction of trajectories for the inventory which enables us to use policy iteration of Longstaff-Schwartz type avoiding nested simulations. Our algorithm improves on the grid discretisation procedure largely used in literature and practice, and on the recently proposed control randomisation by [Kharroubi et al. (2014) Monte Carlo Methods and Applications, 20(2), pp. 145-165]. We validate our approach on three numerical examples: a benchmark problem of energy arbitrage used to compare different methods available in literature; a multi-dimensional problem of control of two connected water reservoirs; and a high-dimensional problem of the management of a battery with the purpose of assisting the operations of a wind turbine in providing electricity to a group of buildings in a cost effective way.

研究の動機と目的

• 高次元在庫制御問題における従来のグリッドベースの回帰モンテカルロの計算非効率性に対処する。
• 個々の在庫水準ごとに別々の回帰を必要とする既存手法の制限や、連続的制御空間で困難をきたす問題を克服する。
• 在庫の軌道を分離することで、ネストされたシミュレーションを回避するバックワード動的計画法を構築する。
• 現実的な制約を伴う複雑な高次元エネルギー価格アービタージュおよび貯蔵管理問題を効果的に解けるようにする。
• 実世界の応用で用いられるヒューリスティック法や完全予測政策のスケーラブルな代替手段を提供する。

提案手法

• 在庫の時間的進化を時間ステップ間で分離できるように、RLMCフレームワークを改変し、独立したバックワード再帰を可能にする。
• 価値関数推定時にパスの再シミュレーションを行わずに、政策反復を支援する在庫プロセスのバックワード軌道を構築する。
• 在庫水準に明示的な依存性を含む基底関数を用いることで、グリッド離散化を伴わずに在庫状態間の補間が可能になる。
• 各ステップで軌道の再計算を避けるために、固定点反復を用いて性能反復を実装し、計算コストを低減する。
• 外生的状態変数と在庫水準を回帰変数として組み合わせ、継続的価値を推定する回帰を実行する。
• 各時間ステップで、回帰面に基づいて2次元の制約付き最適化問題を解き、最適制御を決定する。

実験結果

リサーチクエスチョン

• RQ1 在庫が決定論的に進化し、外生的過程が確率的である在庫制御問題に対し、後で回帰するモンテカルロ法を適応可能か？
• RQ2 本手法は、グリッドベースの回帰モンテカルロや制御ランダム化と比較して、正確性と計算効率の点でどのように差をつけるか？
• RQ3 本手法は、バッテリー支援型風力エネルギー系のような高次元在庫制御問題を効果的に解けるか？
• RQ4 間歇的発電と変動価格を伴う現実のエネルギーシステムにおいて、最適貯蔵制御の経済的価値は何か？
• RQ5 バックワード再帰における在庫軌道の分離は、ネストされたシミュレーションの必要性を排除しつつ、解の質を保持できるか？

主な発見

• RLMC手法は、各在庫離散化点での別個の回帰を回避するため、グリッドベースの回帰モンテカルロよりも顕著に優れている。
• バッテリーを用いた風力エネルギーアービタージュにおいて、2週間の期間で中央値利益が4000米ドル増加し、75百分位数の利益も4000米ドル増加した。
• 推定された方策により、25百分位数の利益は3595から7556に、75百分位数の利益は5498から9598に上昇し、顕著な経済的メリットが示された。
• 5000本のシミュレートされた軌道でさえも、アルゴリズムは安定的かつ正確に動作し、在庫および外生的変数に線形および2次項を含む基底関数が満足できる結果をもたらした。
• バッテリーの推定耐用年数は約6年（320週間）であり、4000回のフルサイクルを想定することで、貯蔵統合の長期的経済的妥当性が裏付けられた。
• 風力発電、需要、価格、バッテリー在庫を含む高次元問題を効率的に解けることを示し、低次元ベンチマークをはるかに超えるスケーラビリティを実証した。