[論文レビュー] Algorithms for stochastic optimization with expectation constraints

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|Apr 13, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用数 29

ひとこと要約

本稿では、期待値制約を伴う確率的最適化問題を解くために、2つの新しい確率的近似アルゴリズム—協調的確率的近似（CSA）および協調的確率的パrameter近似（CSPA）—を提案する。CSAは、凸問題に対して最適な${\cal O}(1/\sqrt{N})$の収束速度を達成し、強い凸問題に対しては${\cal O}(1/N)$を達成するが、双対空間の反復や双対変数の推定を必要としない。

ABSTRACT

This paper considers the problem of minimizing an expectation function over a closed convex set, coupled with an expectation constraint on either decision variables or problem parameters. We first present a new stochastic approximation (SA) type algorithm, namely the cooperative SA (CSA), to handle problems with the expectation constraint on devision variables. We show that this algorithm exhibits the optimal ${\cal O}(1/\sqrt{N})$ rate of convergence, in terms of both optimality gap and constraint violation, when the objective and constraint functions are generally convex, where $N$ denotes the number of iterations. Moreover, we show that this rate of convergence can be improved to ${\cal O}(1/N)$ if the objective and constraint functions are strongly convex. We then present a variant of CSA, namely the cooperative stochastic parameter approximation (CSPA) algorithm, to deal with the situation when the expectation constraint is defined over problem parameters and show that it exhibits similar optimal rate of convergence to CSA. It is worth noting that CSA and CSPA are primal methods which do not require the iterations on the dual space and/or the estimation on the size of the dual variables. To the best of our knowledge, this is the first time that such optimal SA methods for solving expectation constrained stochastic optimization are presented in the literature.

研究の動機と目的

• 意思決定変数または問題パrameterが期待値制約を受ける確率的最適化問題に対処すること。
• 従来の手法で一般的な双対空間の反復や双対変数の推定を回避するプライム法を構築すること。
• 期待値制約下での凸および強い凸設定において、最適な収束速度を確立すること。
• 期待値制約付き確率的最適化に対して、理論的に最適な収束速度を保証する最初の確率的近似手法を提供すること。

提案手法

• 意思決定変数に期待値制約がある問題に対して、プライム・シングルループ更新方式を用いた協調的確率的近似（CSA）アルゴリズムを提案する。
• 各反復で最適性ギャップと制約違反を同時に低減する協調的更新メカニズムを採用する。
• 一般凸性下での期待値部分勾配ノルムと制約違反項の分析を通じて収束速度を導出する。
• 意思決定変数ではなく問題パrameterに期待値制約が作用する問題を対象とする、変種である協調的確率的パrameter近似（CSPA）を導入する。
• 双対変数の推定を回避するプライムオンliーフレームワークを用いることで、実装を簡素化し、計算コストを低減する。
• 確率的設定下でマルティングル・ディファレンス列およびほとんど確実収束の議論を用いて収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 期待値制約が意思決定変数にかかっている確率的最適化問題に対して、プライム法の確率的近似手法が最適な収束速度を達成できるか。
• RQ2 一般凸性仮定下で、このような問題に対して保証できる収束速度は何か。
• RQ3 強い凸性下で収束速度を${\cal O}(1/N)$まで向上させられるか。
• RQ4 同じフレームワークを、意思決定変数ではなく問題パrameterに期待値制約がかかる問題に拡張できるか。
• RQ5 双対空間の反復や双対変数の推定を要せず、最適な収束速度を達成することは可能か。

主な発見

• CSAアルゴリズムは、一般凸問題において最適性ギャップおよび制約違反の両方に対して${\cal O}(1/\sqrt{N})$の収束速度を達成する。
• 強い凸性下では、CSAの収束速度が${\cal O}(1/N)$に向上し、非制約問題における最高の既知のレートと一致する。
• CSPAアルゴリズムは、問題パrameterに期待値制約がかかる問題に対しても、同じ最適な収束速度を維持する。
• CSAおよびCSPAは、双対空間の反復や双対変数の大きさの推定を一切必要としないプライム法である。
• 著者らの知る限り、本稿は期待値制約付き確率的最適化に対して理論的に最適な収束速度を有する確率的近似手法を初めて提示している。
• 理論的分析により、提案手法が考察された問題クラスにおいて収束速度の観点で最適であることが確認された。