[論文レビュー] The Parametric Cost Function Approximation: A new approach for multistage stochastic programming

Warren B. Powell, Saeed Ghadimi|arXiv (Cornell University)|Jan 1, 2022

Risk and Portfolio Optimization被引用数 7

ひとこと要約

本稿では、未来の不確実性を近似するためにパラメータ化された決定論的前方探索モデルを用いることで、計算が効率的なマルチステージ確率的プログラミングの新しいアプローチとして、パラメトリック・コスト関数近似（PCFA）を導入する。シミュレーション最適化によるパラメータのチューニングにより、追加の現地計算コストなしに、ベースラインの決定論的モデルよりも20–50%の性能向上を達成したことを示している。

ABSTRACT

The most common approaches for solving multistage stochastic programming problems in the research literature have been to either use value functions ("dynamic programming") or scenario trees ("stochastic programming") to approximate the impact of a decision now on the future. By contrast, common industry practice is to use a deterministic approximation of the future which is easier to understand and solve, but which is criticized for ignoring uncertainty. We show that a parameterized version of a deterministic optimization model can be an effective way of handling uncertainty without the complexity of either stochastic programming or dynamic programming. We present the idea of a parameterized deterministic optimization model, and in particular a deterministic lookahead model, as a powerful strategy for many complex stochastic decision problems. This approach can handle complex, high-dimensional state variables, and avoids the usual approximations associated with scenario trees or value function approximations. Instead, it introduces the offline challenge of designing and tuning the parameterization. We illustrate the idea by using a series of application settings, and demonstrate its use in a nonstationary energy storage problem with rolling forecasts.

研究の動機と目的

• 従来の確率的プログラミングや動的プログラミングがマルチステージ確率的問題に直面する計算複雑性と実用的制限を解決すること。
• 産業界で一般的に用いられるパラメトリックな決定論的最適化モデルが、複雑な確率的または動的プログラミング手法の有効で妥当な代替手段であると主張すること。
• シミュレーションとパrameterチューニングを活用することで、パラメトリック・コスト関数近似（PCFA）を確率的最適化フレームワークとして形式化すること。
• PCFAが、エネルギー貯蔵におけるローリング予測を含む高次元で時間依存の状態変数や複雑な制約を効果的に扱えることを示すこと。
• 研究コミュニティが、大規模な運用問題において、パラメトリックな決定論的モデルを正当なポリシーとして認識し採用することを促すこと。

提案手法

• 将来の予測値に影響を与える重要な入力パラメータを可変パラメータ（例：θ）でスケーリングする、パラメトリックな決定論的前方探索モデルを提案する。
• 問題の確率的ベースモデルを用いて、決定論的モデルのパラメータ（θ）をシミュレーション最適化フレームワークでチューニングする。
• ノイズの多い環境においても効率的な多次元パラメータチューニングが可能な、SPSA（同時摂動確率的近似）アルゴリズムを適用する。
• シミュレータを用いて、確率的シナリオ下でのポリシー性能を評価し、シナリオツリーの明示的構築や価値関数近似なしに、頑健なパラメータ推定を可能にする。
• パラメトリックなポリシーを確率的最適化問題として扱い、将来の実現値の範囲で期待コストを最小化することを目的とする。
• 結果として得られるポリシーは、時間変動するローリング予測の性質にもかかわらず定常的（時間に依存しない）であることが示され、チューニングプロセスの簡素化が可能になった。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな決定論的最適化モデルは、マルチステージ確率的プログラミング問題における効果的かつスケーラブルなポリシーとして機能できるか？
• RQ2 確率的環境下で、チューニングされたパラメトリック・コスト関数近似の性能は、ベースラインの決定論的モデルと比べてどの程度向上するか？
• RQ3 シミュレーション最適化によるパラメータチューニングは、現地計算コストの増加なしにポリシー性能をどの程度向上できるか？
• RQ4 PCFAは、エネルギー貯蔵システムにおけるローリング予測のような複雑な高次元状態変数を効果的に捉えることができるか？
• RQ5 ヒューリスティックな産業実務から、厳密に設計されチューニングされたパラメトリックポリシーへの移行における課題と機会は何か？

主な発見

• ローリング予測を伴う非定常なエネルギー貯蔵問題において、PCFAアプローチはベースラインの決定論的ポリシー（θ=1）に対して20–50%の性能向上を達成した。
• ポリシーは現地での実行時において計算コストの増加なしに実現された。これは、ポリシーが依然として決定論的最適化モデルのままであるためである。
• 本手法は、従来の確率的または動的プログラミング手法では取り扱いにくい、時間変動するローリング予測を含む複雑な高次元状態変数を効果的に処理できた。
• 非凸な目的関数とノイズの多いシミュレーション出力に対しても、パラメータチューニングプロセスは効果的であり、SPSAアルゴリズムのロバスト性を示した。
• 得られたポリシーは定常的であった。すなわち、時間に依存せず、パラメータベクトルθにのみ依存していた。これにより、最適化と導入プロセスが簡素化された。
• 本研究は、パラメトリックな決定論的モデルを用いる産業実務が、適切にチューニングされれば、ヒューリスティックではなく、確率的最適化の原則と本質的に整合していることを強調している。