[論文レビュー] Reinforcement Learning via Parametric Cost Function Approximation for Multistage Stochastic Programming

Saeed Ghadimi, Raymond T. Perkins+1 more|arXiv (Cornell University)|Jan 2, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 5

ひとこと要約

本論文は、不確実性をよりよく扱えるようにパrameterを調整することで、多段階確率的プログラミングにおける決定論的前方探索モデルを向上させるパラメトリックなコスト関数近似（CFA）フレームワークを提案する。修正された決定論的方策をパラメトリック方策として扱い、勾配ベースのシミュレーション最適化によりそのパrameterを最適化することで、シナリオツリー や 二段階近似に依存せずに、ベースラインの決定論的モデルよりも優れた性能を達成する。特に、ノイズの多い予測条件下でもその優位性を示す。

ABSTRACT

The most common approaches for solving stochastic resource allocation problems in the research literature is to either use value functions ("dynamic programming") or scenario trees ("stochastic programming") to approximate the impact of a decision now on the future. By contrast, common industry practice is to use a deterministic approximation of the future which is easier to understand and solve, but which is criticized for ignoring uncertainty. We show that a parameterized version of a deterministic lookahead can be an effective way of handling uncertainty, while enjoying the computational simplicity of a deterministic lookahead. We present the parameterized lookahead model as a form of policy for solving a stochastic base model, which is used as the basis for optimizing the parameterized policy. This approach can handle complex, high-dimensional state variables, and avoids the usual approximations associated with scenario trees. We formalize this approach and demonstrate its use in the context of a complex, nonstationary energy storage problem.

研究の動機と目的

• 複雑で高次元な確率的リソース割り当て問題を扱う伝統的な確率的プログラミングおよび決定論的前方探索モデルの限界を克服すること。
• パラメトリックに修正された決定論的モデルを用いる産業界の実務的手法を、方策探索およびシミュレーション最適化の枠組み内で原理的かつ体系的な方法として形式化すること。
• パラメトリックコスト関数近似（CFA）方策におけるパラメータを最適化する勾配ベースの最適化フレームワークを開発し、確率的環境下での性能を向上させること。
• 複雑なダイナミクスとノイズの多い予測を伴う非 stationarity（非定常）なエネルギー貯蔵問題に対して、CFAアプローチの有効性を示すこと。
• CFAが標準的な決定論的方策を上回り、シナリオベースの確率的プログラムと同等の性能を発揮するが、それらの計算的・モデル化上の近似を回避できることを示すこと。

提案手法

• 本手法は、パラメトリックに修正された決定論的前方探索モデル（修正された線形計画法）を方策として用い、不確実性を考慮するためのパラメータを調整する。
• 方策は、確率的近似アルゴリズムを用いて最適化され、ミニバッチサンプリングを用いた確率的数値勾配（SNG-CFA）および確率的勾配フリー（SGF-CFA）手法が含まれる。
• 解析的導関数が得られない場合には、有限差分近似を用いて勾配を推定し、シミュレーションベースの設定でも勾配ベースの最適化を可能にする。
• 問題の構造的洞察を活用して、たとえばエネルギー貯蔵における予備容量制約のように意味のあるパラメータ化を設計する。一般的な関数近似器に依存するのではなく、問題固有の構造を反映させる。
• 性能評価は1,000回のシミュレーション実行を基に実施され、最適化の安定性を確保するため、RMSPropを適応的ステップサイズルールとして用いる。
• パラメータペアの目的関数の応答面を分析するため、2次元グリッドサーチを実施し、単峰性およびリッジ状の構造が確認された。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックに修正された決定論的前方探索モデルは、不確実性を伴う多段階確率的問題において、標準的な決定論的方策を上回ることができるか？
• RQ2 完全な予測とノイズの多い予測の下で、CFA方策の性能はどのように変化するか。また、最適なパラメータ値は何か？
• RQ3 シナリオツリー や 二段階近似に依存せずに、勾配ベースのシミュレーション最適化がCFA方策を効果的にチューニングできるか？
• RQ4 CFA方策のパラメータ空間における応答面にどのような構造的性質が現れ、最適化にどのように影響するか？
• RQ5 従来の確率的プログラミングおよびベースラインの決定論的モデルと比較して、CFAアプローチの性能と計算コストはいかがなっているか？

主な発見

• 完全な予測条件下では、ルックアップテーブルCFA方策の最適パラメータ値はすべて1に等しく、補題4.4の理論的予想を確認した。
• ノイズの多い予測（σ²_E = 40）条件下では、最適パラメータ値が1から逸脱した。これは、予測の不確実性に耐性を持つためにチューニングが不可欠であることを示している。
• SNG-CFAおよびSGF-CFA手法は実用的な性能が同等であり、RMSPropがAdaGradよりも収束性と安定性に優れていることが示された。
• 目的関数の応答面は、異なるパラメータペアにおいて単峰性およびリッジ状の構造を示し、勾配ベースの最適化に有利な地形であることが示された。
• ノイズの多い予測条件下では、CFA方策はベースライン方策（θ = 1）を著しく上回り、パラメータチューニングの価値を実証した。
• 本手法は、シナリオツリー や 二段階近似に依存せずに、複雑なダイナミクスおよび構造的洞察（例：予備容量要件）を効果的に捉えることに成功した。