[論文レビュー] Stochastic Optimization with Parametric Cost Function Approximations

Raymond T. Perkins, Warren B. Powell|arXiv (Cornell University)|Mar 14, 2017

Risk and Portfolio Optimization参考文献 39被引用数 4

ひとこと要約

本稿では、不確実性を扱うために完全な確率的プログラミングの複雑さを回避するため、調整可能なパラメータを備えた決定論的モデルを拡張する、パラメトリックコスト関数近似（PCFA）という新しいアプローチを提案する。勾配に基づく探索を確率的シミュレータ内で用いることで、特に時間依存の予測を伴うエネルギー貯蔵の応用において、従来の決定論的および確率的プログラミング手法よりも優れた性能を達成する。

ABSTRACT

A widely used heuristic for solving stochastic optimization problems is to use a deterministic rolling horizon procedure, which has been modified to handle uncertainty (e.g. buffer stocks, schedule slack). This approach has been criticized for its use of a deterministic approximation of a stochastic problem, which is the major motivation for stochastic programming. We recast this debate by identifying both deterministic and stochastic approaches as policies for solving a stochastic base model, which may be a simulator or the real world. Stochastic lookahead models (stochastic programming) require a range of approximations to keep the problem tractable. By contrast, so-called deterministic models are actually parametrically modified cost function approximations which use parametric adjustments to the objective function and/or the constraints. These parameters are then optimized in a stochastic base model which does not require making any of the types of simplifications required by stochastic programming. We formalize this strategy and describe a gradient-based stochastic search strategy to optimize the parameters.

研究の動機と目的

• 不確実性を扱う際の決定論的ローリングホライズン手法の限界を克服するため、それらをパラメトリックコスト関数近似として再定式化すること。
• 決定論的モデルに対するパラメトリックな修正が、単純化仮定を避けることで、完全な確率的プログラミングを上回る性能を発揮できることを示すこと。
• 確率的ベースモデル内のコスト関数近似のパラメータを最適化するための勾配ベースの確率的探索アルゴリズムを開発すること。
• PCFAが、例えば予備率要件のような構造的問題の性質を、シナリオベースの確率的プログラミングよりも効果的に捉えられることを示すこと。
• 大規模な確率的プログラミングの代替手段として、スケーラブルで実用的な選択肢を、高次元で逐次的な意思決定問題における不確実性下で提供すること。

提案手法

• 決定論的ローリングホライズン方策を、調整可能なパrameterを有するパラメトリックコスト関数近似（PCFA）として再定式化し、パラメータを確率的シミュレータ内でチューニングする。
• 目的関数および制約におけるパラメータを最適化するため、勾配ベースの確率的探索アルゴリズム（アルゴリズム1）を用いる。
• 時間依存のエネルギー貯蔵問題にPCFAを適用し、予測誤差を時変化するパラメータθτでモデル化する。
• θτのパラメータ化形式として、定数、ルックアップテーブル、指数減衰の3種類を採用し、予測の信頼性を時間とともに調整可能にする。
• 最小/最大貯蔵レベルなどの構造的制約を、チューナブルなパラメータを用いて運用方針を強制する。
• シミュレーションベースの評価を用いて性能を検証し、PCFA方策をベンチマークの決定論的方策と比較する。

実験結果

リサーチクエスチョン

• RQ1 決定論的モデルに対するパラメトリックな修正が、不確実性下の確率的最適化において、完全な確率的プログラミングを上回る性能を発揮できるか？
• RQ2 予測補正パラメータθτの異なるパラメータ化形式（定数、ルックアップテーブル、指数関数）が、時間依存の在庫問題における方策の性能にどのように影響するか？
• RQ3 PCFAが、シナリオベースの確率的プログラミングよりも、構造的要件（例：予備率）をどれほど効果的に捉えられるか？
• RQ4 予測誤差の大きさ（σf）が、予測補正パラメータθτの最適チューニングにどのように影響するか？
• RQ5 明示的な確率的プログラミング近似を必要とせずに、確率的シミュレータ内で勾配ベースの探索がPCFAパラメータを効果的に最適化できるか？

主な発見

• θτの指数関数的およびルックアップテーブル形式のパラメータ化が、定数形式を上回り、特に高い予測誤差（σf = 35）下で、時間とともに予測信頼性を動的に調整できた。
• 予測誤差が増加するにつれて、θτは時間経過とともに減少し、方策が長期間予測を信頼しなくなることを示唆しており、最終的には再生可能エネルギー発電をゼロと仮定する傾向を示した。
• 上界を設けた容量制約のパラメータ化は、余剰エネルギーを売却する収益機会を制限したため、性能向上に寄与しなかった。
• 下限を設けた容量制約も、余剰エネルギーを貯蔵・売却する能力を制限したため、収益性を低下させ、リスク管理と収益捕捉のトレードオフを示した。
• アルゴリズム1は、容量制約パラメータ化においてθ* = [1, 0]を効果的に特定した。これは、与えられた問題設定では容量制限を設ける必要がないことを示している。
• PCFAアプローチは、シナリオツリーを用いなかったり単純化仮定をしないで、現実的で動的な条件下でパラメータをチューニングすることで、ベンチマークの決定論的方策を上回る性能を達成した。