[论文解读] Foundations of Multistage Stochastic Programming

Paul Dommel, Alois Pichler|arXiv (Cornell University)|Feb 15, 2021

Risk and Portfolio Optimization参考文献 28被引用 9

一句话总结

本文通过引入随机控制中的可测值过程，为多阶段随机优化建立了严格的数学基础。利用柯尔莫哥洛夫连续性定理，证明了可测中间值函数的存在性，从而实现了对动态规划、强化学习以及随机对偶动态规划的数学严谨分析。

ABSTRACT

Multistage stochastic optimization problems are oftentimes formulated informally in a pathwise way. These are correct in a discrete setting and suitable when addressing computational challenges, for example. But the pathwise problem statement does not allow an analysis with mathematical rigor and is therefore not appropriate. This paper addresses the foundations. We provide a novel formulation of multistage stochastic optimization problems by involving adequate stochastic processes as control. The fundamental contribution is a proof that there exist measurable versions of intermediate value functions. Our proof builds on the Kolmogorov continuity theorem. A verification theorem is given in addition, and it is demonstrated that all traditional problem specifications can be stated in the novel setting with mathematical rigor. Further, we provide dynamic equations for the general problem, which is developed for various problem classes. The problem classes covered here include Markov decision processes, reinforcement learning and stochastic dual dynamic programming.

研究动机与目标

• 解决多阶段随机优化问题路径式表述中数学严谨性不足的问题。
• 解决在条件依赖于概率为零事件时中间值函数可测性的问题。
• 为随机优化提供一个通用且可测的框架，支持动态规划、强化学习与SDDP。
• 利用鞅表征与验证定理，验证策略的最优性。
• 在单一严谨的随机过程框架下，统一并形式化传统问题类别，如MDPs、SDDP与贝尔曼原理。

提出的方法

• 将多阶段随机优化表述为以随机过程作为控制变量，用可测结构替代非正式的路径式陈述。
• 应用柯尔莫哥洛夫连续性定理，证明中间值函数可测版本的存在性。
• 引入值过程以随时间追踪最优成本，确保在条件期望与下确界下保持可测性。
• 推导一般非马尔可夫设定下的动态方程，支持递归求解方法。
• 以可测方式使用条件下确界与条件期望，避免逐样本$\omega$-by-$\omega$的路径式分析。
• 通过鞅表征建立验证定理，以验证候选最优策略的最优性。

实验结果

研究问题

• RQ1 多阶段随机优化中的中间值函数能否被严格定义为可测随机过程？
• RQ2 如何在数学上完全严谨地重构常见但数学上未明确定义的路径式表述？
• RQ3 在一般非马尔可夫设定下，可测值过程存在的条件是什么？
• RQ4 传统问题类别如MDPs、SDDP与强化学习如何融入这一新的可测框架？
• RQ5 能否在该形式化体系中推导出验证定理与鞅表征，以确认解的最优性？

主要发现

• 本文利用柯尔莫哥洛夫连续性定理，证明了中间值函数可测版本的存在性，解决了多阶段随机优化中的基础性空白。
• 所有传统问题表述——马尔可夫决策过程、强化学习与随机对偶动态规划——均可嵌入该新的可测框架中。
• 推导出一般非马尔可夫问题的动态方程，支持递归求解策略。
• 建立了验证定理，通过鞅条件表征最优策略。
• 在无限时域问题中，若成本有界且折扣因子$\gamma \in (-1,1)$，在紧致性与连续性假设下，值函数被证明是连续的。
• 对于具有i.i.d.噪声的时齐问题，值函数满足一个不动点方程，且巴拿赫不动点定理保证了解的存在性与唯一性。