[論文レビュー] Stochastic Dual Dynamic Programming for Multistage Stochastic Mixed-Integer Nonlinear Optimization

Shixuan Zhang, Xu Andy Sun|arXiv (Cornell University)|Dec 31, 2019

Risk and Portfolio Optimization被引用数 4

ひとこと要約

本稿は、非凸、不連続、またはLipschitzでない価値関数を扱うために、一般化された共役性に基づくカットを用いる、多段階確率的混合整数非線形計画問題（MS-MINLP）のための新しい確率的デュアルダイナミックプログラミング（SDDP）フレームワークを提案する。非凸性や不連続性を有する問題に対するSDDPの反復複雑性の上限を初めて確立し、段階数および状態空間次元に対して多項式的依存関係を示した。これは、シャビール・アーメド教授によるSDDPのスケーラビリティに関する予想を解消するものである。

ABSTRACT

In this paper, we study multistage stochastic mixed-integer nonlinear programs (MS-MINLP). This general class of problems encompasses, as important special cases, multistage stochastic convex optimization with non-Lipschitzian value functions and multistage stochastic mixed-integer linear optimization. We develop stochastic dual dynamic programming (SDDP) type algorithms with nested decomposition, deterministic sampling, and stochastic sampling. The key ingredient is a new type of cuts based on generalized conjugacy. Several interesting classes of MS-MINLP are identified, where the new algorithms are guaranteed to obtain the global optimum without the assumption of complete recourse. This significantly generalizes the classic SDDP algorithms. We also characterize the iteration complexity of the proposed algorithms. In particular, for a $(T+1)$-stage stochastic MINLP with $d$-dimensional state spaces, to obtain an $ε$-optimal root node solution, we prove that the number of iterations of the proposed deterministic sampling algorithm is upper bounded by $\mathcal{O}((\frac{2T}ε)^d)$, and is lower bounded by $\mathcal{O}((\frac{T}{4ε})^d)$ for the general case or by $\mathcal{O}((\frac{T}{8ε})^{d/2-1})$ for the convex case. This shows that the obtained complexity bounds are rather sharp. It also reveals that the iteration complexity depends polynomially on the number of stages. We further show that the iteration complexity depends linearly on $T$, if all the state spaces are finite sets, or if we seek a $(Tε)$-optimal solution when the state spaces are infinite sets, i.e. allowing the optimality gap to scale with $T$. To the best of our knowledge, this is the first work that reports global optimization algorithms as well as iteration complexity results for solving such a large class of multistage stochastic programs.

研究の動機と目的

• 多段階確率的混合整数非線形計画問題（MS-MINLP）のための統一的なSDDP型アルゴリズムを開発すること。これは、非凸、不連続、またはLipschitzでない価値関数を有する広範な問題クラスを含む。
• 既存のSDDP手法において、非凸価値関数の正確な下界近似を実現する一般化されたカットプレーン手法の欠如を克服すること。
• SDDP型アルゴリズムのMS-MINLPにおける鋭い反復複雑性上限を確立すること。特に、段階数、状態空間次元、および最適性ギャップへの依存関係を明確にすること。
• 教授・シャビール・アーメドによる、多段階確率的混合整数最適化におけるSDDPの多項式的スケーラビリティに関する長年の予想を解消すること。

提案手法

• 正則化された部分問題における非凸コスト・トゥ・ゴー関数の近似に、一般化された共役性に基づく新しいカットクラスを導入する。
• 価値関数に正則化を適用し、元のMS-MINLPの妥当性と最適性を保証する正確なペナルティ法を確保する。
• 3つのアルゴリズムを統一フレームワーク内で開発する：決定的ネスト型ベンダース変種、決定的サンプリングSDDP、および確率的サンプリングSDDP。
• 後退パスオракルを用い、正則化されたノード問題を介して、Lipschitz性や連続性に欠ける価値関数に対しても、下界近似を実現するカットを生成する。
• 事前に定めたパrameterを用いたペナルティ再定式化により、正確なペナルティ法を可能にし、解の品質を維持する。
• Lipschitz連続性および特定の問題クラスにおける凸性の性質を活用し、カット近似の質の幾何学的解析を通じて複雑性上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸、不連続、またはLipschitzでない価値関数を有する多段階確率的混合整数非線形計画問題（MS-MINLP）に対して、SDDPを一般化して適用可能か？
• RQ2 SDDP型アルゴリズムのMS-MINLPにおける反復複雑性は何か？また、段階数および状態空間次元に対してどのようにスケーリングされるか？
• RQ3 MS-MINLPにおける反復複雑性は、段階数に対して多項式的か指数的か？特に凸ケースにおいては？
• RQ4 完全リカバリー（complete recourse）のない問題に対しても、SDDPフレームワークを拡張可能か？同時に、グローバル収束を保証できるか？
• RQ5 SDDPのMS-MINLPにおける反復複雑性に対して、鋭い下限と上限を確立可能か？アーメドの予想を解消できるか？

主な発見

• 提案された決定的サンプリングSDDPアルゴリズムは、$d$次元状態空間を有する$(T+1)$段階のMS-MINLPに対して、上界として反復複雑性$\mathcal{O}\left(\left(\frac{2T}{\varepsilon}\right)^d\right)$を有する。
• 一般ケースに対して下界$\mathcal{O}\left(\left(\frac{T}{4\varepsilon}\right)^d\right)$を確立し、凸ケースに対しては$\mathcal{O}\left(\left(\frac{T}{8\varepsilon}\right)^{d/2-1}\right)$を示し、両者が鋭い境界であることを示した。
• 有限状態空間を有する問題、または最適性ギャップが$T$に線形に依存する場合、反復複雑性は$T$に対して線形に依存し、多項式的依存ではない。
• 非Lipschitz価値関数を有する広範なMS-MINLPクラスに対し、グローバル収束を保証するが、完全リカバリーの仮定は不要である。
• 複雑性解析により、SDDP型アルゴリズムが段階数に対して多項式的スケーリングを示すことが確認され、アーメド教授の予想が解消された。
• 一般化共役性カットの使用により、非凸かつ滑らかでない設定においても、価値関数の正確な下界近似が可能となり、グローバル最適化が実現可能である。