[论文解读] Dynamic Stochastic Approximation for Multi-stage Stochastic Optimization

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|Jul 11, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用 3

一句话总结

本文提出动态随机逼近（DSA）算法，用于具有凸目标函数和锥约束的多阶段随机优化问题。对于三阶段问题，DSA 实现了最优的 O(1/ε⁴) 收敛速率；对于强凸情况，收敛速率为 O(1/ε²)，且仅需对场景树进行一次遍历，内存消耗随阶段数线性增长——这是首个被推广至 T ≥ 3 阶段的随机逼近方法。

ABSTRACT

In this paper, we consider multi-stage stochastic optimization problems with convex objectives and conic constraints at each stage. We present a new stochastic first-order method, namely the dynamic stochastic approximation (DSA) algorithm, for solving these types of stochastic optimization problems. We show that DSA can achieve an optimal ${\cal O}(1/ε^4)$ rate of convergence in terms of the total number of required scenarios when applied to a three-stage stochastic optimization problem. We further show that this rate of convergence can be improved to ${\cal O}(1/ε^2)$ when the objective function is strongly convex. We also discuss variants of DSA for solving more general multi-stage stochastic optimization problems with the number of stages $T > 3$. The developed DSA algorithms only need to go through the scenario tree once in order to compute an $ε$-solution of the multi-stage stochastic optimization problem. As a result, the memory required by DSA only grows linearly with respect to the number of stages. To the best of our knowledge, this is the first time that stochastic approximation type methods are generalized for multi-stage stochastic optimization with $T \ge 3$.

研究动机与目标

• 解决使用随机逼近方法求解 T ≥ 3 阶段的多阶段随机优化问题的挑战。
• 开发一种一阶算法，仅需对场景树进行一次遍历即可计算出 ε-解。
• 在多阶段设置下，为一般凸目标函数和强凸目标函数实现最优收敛速率。
• 确保内存使用量随阶段数线性增长，从而实现对大规模 T 的可扩展性。
• 将随机逼近技术推广至两阶段问题之外，填补文献中的关键空白。

提出的方法

• DSA 算法专为具有凸目标函数和每阶段锥约束的多阶段随机优化问题而设计。
• 通过递归定义值函数，将问题表达为动态规划框架，支持反向与正向传递计算。
• DSA 应用随机逼近原理，通过采样场景迭代更新决策，确保收敛至 ε-解。
• 该方法利用条件期望和场景树的一次遍历，最小化内存开销。
• 采用动态平均与针对多阶段问题层次结构定制的随机梯度步长。
• 通过反向归纳法保持递归值函数近似，将算法扩展至处理 T > 3 阶段的问题。

实验结果

研究问题

• RQ1 随机逼近方法能否被推广至 T ≥ 3 阶段的多阶段随机优化问题？
• RQ2 对于具有凸目标函数的三阶段随机优化问题，一阶随机方法可实现的最优收敛速率是多少？
• RQ3 在多阶段设置下，强凸性假设如何改善收敛速率？
• RQ4 能否设计出仅需对场景树进行一次遍历，同时保持最优收敛速率的算法？
• RQ5 该算法的内存复杂度作为阶段数 T 的函数如何？

主要发现

• DSA 对于具有凸目标函数的三阶段随机优化问题实现了最优的 O(1/ε⁴) 收敛速率。
• 对于强凸目标函数，DSA 将收敛速率提升至 O(1/ε²)，与已知下界一致。
• 该算法仅需对场景树进行一次遍历，内存复杂度随阶段数 T 线性增长。
• DSA 是首个成功推广至 T ≥ 3 阶段多阶段问题的随机逼近类方法。
• 该方法在保持最优迭代复杂度的同时，因线性内存使用而具备实际可扩展性。
• 在凸性、紧致性以及梯度利普希茨连续性的标准假设下，建立了理论收敛保证。