[論文レビュー] Dynamic Stochastic Approximation for Multi-stage Stochastic Optimization

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|Jul 11, 2017

Stochastic Gradient Optimization Techniques参考文献 37被引用数 3

ひとこと要約

本稿は、凸目的関数と円錐制約を伴う多段階確率的最適化のための動的確率的近似（DSA）アルゴリズムを導入する。DSAは3段階問題に対して最適なO(1/ε⁴)収束速度を達成し、強い凸性の場合にはO(1/ε²)を達成する。1回のシナリオツリー走査と段階数に線形に増加するメモリ使用量を要するが、T ≥ 3段階への一般化に成功した最初の確率的近似手法である。

ABSTRACT

In this paper, we consider multi-stage stochastic optimization problems with convex objectives and conic constraints at each stage. We present a new stochastic first-order method, namely the dynamic stochastic approximation (DSA) algorithm, for solving these types of stochastic optimization problems. We show that DSA can achieve an optimal ${\cal O}(1/ε^4)$ rate of convergence in terms of the total number of required scenarios when applied to a three-stage stochastic optimization problem. We further show that this rate of convergence can be improved to ${\cal O}(1/ε^2)$ when the objective function is strongly convex. We also discuss variants of DSA for solving more general multi-stage stochastic optimization problems with the number of stages $T > 3$. The developed DSA algorithms only need to go through the scenario tree once in order to compute an $ε$-solution of the multi-stage stochastic optimization problem. As a result, the memory required by DSA only grows linearly with respect to the number of stages. To the best of our knowledge, this is the first time that stochastic approximation type methods are generalized for multi-stage stochastic optimization with $T \ge 3$.

研究の動機と目的

• T ≥ 3段階の多段階確率的最適化問題を、確率的近似手法で解く挑戦に取り組むこと。
• シナリオツリーを1回だけ走査することでε解を計算できる1次元アルゴリズムを開発すること。
• 一般凸および強い凸の目的関数に対して、多段階設定における最適な収束速度を達成すること。
• メモリ使用量が段階数に線形に増加することを保証し、大規模なTに対するスケーラビリティを実現すること。
• 2段階問題を超えて、確率的近似手法をT ≥ 3段階に一般化し、文献における重要なギャップを埋めること。

提案手法

• DSAアルゴリズムは、各段階で凸目的関数と円錐制約を伴う多段階確率的最適化を対象として設計されている。
• 動的計画法フレームワークに適合させるために、再帰的価値関数定義を用い、後向きおよび前向きの計算を可能にしている。
• DSAは、サンプルされたシナリオを用いて反復的に意思決定を更新する確率的近似の原則を適用し、ε解への収束を保証している。
• 条件付き期待値と1回の走査によるシナリオツリー走査を活用し、メモリオーバーヘッドを最小限に抑える。
• 多段階問題の階層的構造に適合した動的平均化と確率的勾配ステップを採用している。
• 後退帰納法を用いて再帰的価値関数近似を維持することで、T > 3段階の拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 T ≥ 3段階の多段階確率的最適化に、確率的近似手法を一般化できるか？
• RQ2 凸目的関数を伴う3段階確率的最適化問題において、1次元確率的近似手法が達成可能な最適な収束速度は何か？
• RQ3 多段階設定において強い凸性の仮定が下で、収束速度はどのように向上するか？
• RQ4 1回のシナリオツリー走査で済ませながらも、最適な収束速度を維持できるようにアルゴリズムを設計できるか？
• RQ5 段階数Tの関数として、そのようなアルゴリズムのメモリ複雑度は何か？

主な発見

• DSAは、凸目的関数を伴う3段階確率的最適化問題に対して、最適なO(1/ε⁴)収束速度を達成する。
• 強い凸目的関数の場合、DSAは収束速度をO(1/ε²)に向上させ、既知の下界と一致する。
• アルゴリズムは1回のシナリオツリー走査で十分であり、段階数Tに線形に増加するメモリ使用量となる。
• DSAは、T ≥ 3段階の多段階問題に成功裏に一般化された最初の確率的近似型手法である。
• 線形メモリ使用量のおかげで、実用的なスケーラビリティを確保しながら、最適な反復複雑度を維持している。
• 凸性、コンact性、勾配のリプシッツ連続性という標準的仮定の下で、理論的収束保証が確立されている。