[論文レビュー] Foundations of Multistage Stochastic Programming

Paul Dommel, Alois Pichler|arXiv (Cornell University)|Feb 15, 2021

Risk and Portfolio Optimization参考文献 28被引用数 9

ひとこと要約

この論文は、確率的制御を用いて可測な価値過程を導入することで、多段階確率的最適化の厳密な数学的基盤を確立する。コルモゴロフ連続性定理を用いて、可測な中間価値関数の存在を証明し、動的計画法、強化学習、確率的デュアル動的プログラミングの形式的解析を数学的に厳密に可能にする。

ABSTRACT

Multistage stochastic optimization problems are oftentimes formulated informally in a pathwise way. These are correct in a discrete setting and suitable when addressing computational challenges, for example. But the pathwise problem statement does not allow an analysis with mathematical rigor and is therefore not appropriate. This paper addresses the foundations. We provide a novel formulation of multistage stochastic optimization problems by involving adequate stochastic processes as control. The fundamental contribution is a proof that there exist measurable versions of intermediate value functions. Our proof builds on the Kolmogorov continuity theorem. A verification theorem is given in addition, and it is demonstrated that all traditional problem specifications can be stated in the novel setting with mathematical rigor. Further, we provide dynamic equations for the general problem, which is developed for various problem classes. The problem classes covered here include Markov decision processes, reinforcement learning and stochastic dual dynamic programming.

研究の動機と目的

• 多段階確率的最適化問題の経路に沿った定式化における数学的厳密性の欠如に対処すること。
• 特に確率ゼロの事象に条件づける場合に生じる中間価値関数の可測性の問題を解決すること。
• 動的計画法、強化学習、SDDPをサポートする一般化された可測な枠組みを提供すること。
• マルティンゲールの特徴付けと検証定理を用いて、方策の最適性を検証すること。
• 伝統的な問題クラス（MDP、SDDP、ベルマンの原理）を、単一の数学的に厳密な確率過程の枠組みに統合・形式化すること。

提案手法

• 経路に沿った記述を避けるために、制御として確率過程を用いて多段階確率的最適化を定式化し、非形式的な記述を可測構造に置き換える。
• コルモゴロフ連続性定理を適用して、中間価値関数の可測版の存在を証明する。
• 最適コストを時間経過とともに追跡する価値過程を導入し、条件付き期待値および下界の下で可測性を保証する。
• 一般非マルコフ的設定における動的方程式を導出し、再帰的解法手法を可能にする。
• ωごとの経路に沿った解析を避けるために、可測な方法で条件付き下界および条件付き期待値を用いる。
• 最適方策の候補を検証するため、マルティンゲールの特徴付けを用いて検証定理を確立する。

実験結果

リサーチクエスチョン

• RQ1 多段階確率的最適化における中間価値関数は、可測な確率過程として厳密に定義可能か？
• RQ2 実務でよく用いられるが数学的に定義が不十分な経路に沿った定式化は、どのように完全な数学的厳密性に再定式化できるか？
• RQ3 一般の非マルコフ的設定において、可測な価値過程が存在するための条件は何か？
• RQ4 MDP、SDDP、強化学習といった標準的な問題クラスは、この新しい可測な枠組みにどのように統合されるか？
• RQ5 この形式的枠組みにおいて、検証定理およびマルティンゲールの特徴付けを導出でき、解の最適性を確認できるか？

主な発見

• 論文は、コルモゴロフ連続性定理を用いて、中間価値関数の可測版の存在を証明し、多段階確率的最適化における基礎的ギャップを解消した。
• すべての伝統的な問題定式化—マーカフ決定過程、強化学習、確率的デュアル動的プログラミング—が、新しい可測枠組みに埋め込み可能であることが示された。
• 一般非マルコフ的問題に対して動的方程式が導出され、再帰的解法戦略が可能になった。
• 検証定理が確立され、最適方策がマルティンゲール条件によって特徴付けられた。
• 有界なコストと割引率 $\gamma \in (-1,1)$ を持つ無限 horizon 問題において、コンパクト性および連続性の仮定の下で、価値関数が連続であることが示された。
• 独立同分布のノイズを持つ時不変問題では、価値関数が固定点方程式を満たし、バナッハの固定点定理により解の存在と一意性が保証された。