[論文レビュー] Sample Average Approximation for Stochastic Programming with Equality Constraints

Thomas Lew, Riccardo Bonalli+1 more|arXiv (Cornell University)|Jun 20, 2022

Risk and Portfolio Optimization参考文献 34被引用数 5

ひとこと要約

本稿では、最適制御に一般的に見られる期待値等式制約を伴う確率的プログラミングに対して、緩和されたサンプル平均近似（SAA）法を提案する。経験的等式制約を緩和し、確率的集合理論とホルダー連続性に基づく集中不等式を活用することで、著者らは、標本サイズが増加するにつれて解が真の最適解にほとんど確実に収束することを証明した。これは、弱い滑らかさおよび有界性の条件下でも成立する。

ABSTRACT

We revisit the sample average approximation (SAA) approach for non-convex stochastic programming. We show that applying the SAA approach to problems with expected value equality constraints does not necessarily result in asymptotic optimality guarantees as the sample size increases. To address this issue, we relax the equality constraints. Then, we prove the asymptotic optimality of the modified SAA approach under mild smoothness and boundedness conditions on the equality constraint functions. Our analysis uses random set theory and concentration inequalities to characterize the approximation error from the sampling procedure. We apply our approach and analysis to the problem of stochastic optimal control for nonlinear dynamical systems under external disturbances modeled by a Wiener process. Numerical results on relevant stochastic programs show the reliability of the proposed approach. Results on a rocket-powered descent problem show that our computed solutions allow for significant uncertainty reduction compared to a deterministic baseline.

研究の動機と目的

• 期待値等式制約を伴う確率的プログラムに対して、標準SAAが漸近的最適性の保証を持たないという問題に対処する。
• 等式制約を厳密に満たす場合に古典的SAA収束が失敗することを克服する。
• ホルダー連続性および制約関数の有界性を含む弱い仮定の下で理論的収束を確立する。
• 凸でない確率的プログラムにまでSAAを一般化し、等式制約および不等式制約を同時に扱う。
• ウィーナー過程の摂動を伴う非線形システムのための信頼性のあるサンプリングベースの最適制御問題の解法を可能にする。

提案手法

• 標本サイズ $N$ とともに収縮する許容誤差パラメータ $\delta_N$ を導入することで、SAA問題における経験的等式制約を緩和する。
• 可縮集合 $C_N(\bar{\omega}) = \{u \in \mathcal{U} : \|h_N(u,\bar{\omega})\| \leq \delta_N\}$ として、実行可能集合を確率的集合として再定式化し、確率的集合理論の適用を可能にする。
• 確率的コンパクト集合に対する一様大数の法則を用いて、実行可能集合が真の実行可能集合にほとんど確実に収束することを証明する。
• 従来のリプシッツ連続性仮定よりも弱い、$\alpha$-ホルダー連続関数クラスのための新しい集中不等式を導出する。
• 確率的微分方程式による非線形システムのオフライン確率的最適制御にこの枠組みを適用する。
• 火星のロケット推力降下問題に対して手法を検証し、燃料消費量と最終状態分散の最小化を目的とする。

実験結果

リサーチクエスチョン

• RQ1 期待値等式制約を伴う確率的プログラムに標準SAAを適用した場合、標本サイズが増加しても漸近的最適性が保たれるか？
• RQ2 リプシッツ連続性よりも弱い正則性条件の下で、SAA法を漸近的最適にできるか？
• RQ3 緩和されたSAA問題が十分に大きな $N$ に対して実行可能であり、標本サイズが増加するにつれて真の最適解に収束するための条件は何か？
• RQ4 確率的集合理論と集中不等式をどのように組み合わせて、等式制約を伴うサンプリングベースの確率的プログラムの収束を分析できるか？
• RQ5 緩和されたSAAアプローチを、凸でない確率的プログラムにおける等式制約および不等式制約の両方を扱うように拡張できるか？

主な発見

• 期待値等式制約を伴う確率的プログラムに対して、標準SAAアプローチは、標本サイズが増加しても漸近的最適性を保証できない。
• 経験的等式制約を収縮する許容誤差 $\delta_N = C N^{-(1/2 - \epsilon)}$ で緩和することで、修正されたSAAは解が真の最適解にほとんど確実に収束する。
• 弱い仮定（A1–A3）の下で、十分に大きな $N$ に対して $\bar{\mathbb{P}}$-ほとんど確実にSAA問題が実行可能であることが保証される。
• 著者らは、従来のリプシッツ仮定よりも弱い、$\alpha$-ホルダー連続関数クラスのための新しい集中不等式を証明した。
• コスト関数に追加で $\alpha$-ホルダー連続性を仮定することで、SAA解の全列が真の最適解に収束することが保証され、部分列に限らない。
• 本手法は火星のロケット推力降下問題に成功裏に適用され、燃料消費量と最終状態誤差分散の両方を最小化する解が得られた。