[論文レビュー] Algorithms for stochastic optimization with functional or expectation constraints

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|Apr 13, 2016

Stochastic Gradient Optimization Techniques参考文献 36被引用数 28

ひとこと要約

本稿では、関数的制約または期待値制約を伴う確率的最適化問題を解くために、2つの新しい確率的近似アルゴリズム—協調的確率的近似（CSA）および協調的確率的パrameter近似（CSPA）—を提案する。これらの手法は、双対空間の反復や双対変数の推定を必要とせず、一般の凸問題では$\mathcal{O}(1/\epsilon^2)$、強く凸な問題では$\mathcal{O}(1/\epsilon)$の最適収束速度を達成する。

ABSTRACT

This paper considers the problem of minimizing an expectation function over a closed convex set, coupled with a {\color{black} functional or expectation} constraint on either decision variables or problem parameters. We first present a new stochastic approximation (SA) type algorithm, namely the cooperative SA (CSA), to handle problems with the constraint on devision variables. We show that this algorithm exhibits the optimal ${\cal O}(1/ε^2)$ rate of convergence, in terms of both optimality gap and constraint violation, when the objective and constraint functions are generally convex, where $ε$ denotes the optimality gap and infeasibility. Moreover, we show that this rate of convergence can be improved to ${\cal O}(1/ε)$ if the objective and constraint functions are strongly convex. We then present a variant of CSA, namely the cooperative stochastic parameter approximation (CSPA) algorithm, to deal with the situation when the constraint is defined over problem parameters and show that it exhibits similar optimal rate of convergence to CSA. It is worth noting that CSA and CSPA are primal methods which do not require the iterations on the dual space and/or the estimation on the size of the dual variables. To the best of our knowledge, this is the first time that such optimal SA methods for solving functional or expectation constrained stochastic optimization are presented in the literature.

研究の動機と目的

• 意思決定変数または問題パラメータに関数的または期待値制約を伴う確率的最適化問題に対処すること。
• 従来の手法で一般的な双対空間の反復や双対変数の推定を回避するプライム法を構築すること。
• 期待値制約下での一般凸問題および強く凸な問題に対して、最適な収束速度を確立すること。
• 特にCVaR、半教師付き学習、ロバスト分類の応用を想定し、確率的プログラミングにおける制約の統合的フレームワークを提供すること。
• 理論的・アルゴリズム的整合性を確保するため、『Computational Optimization and Applications』に掲載された以前の版の誤りを是正・改善すること。

提案手法

• 意思決定変数に制約を伴う問題に対して、確率的部分勾配を用いたプライムアプローチを採用する協調的確率的近似（CSA）アルゴリズムを提案する。
• 最適性ギャップと制約違反の両方を1つの更新スキームですべてのバランスをとる協調的ステップサイズ戦略を採用する。
• 制約が問題パラメータに定義される問題を対象とし、CSAフレームワークを拡張する協調的確率的パrameter近似（CSPA）アルゴリズムを導入する。
• 目的関数および制約関数への不偏な確率的オракルアクセスを用い、反復の安定化に再帰的平均化を適用する。
• 凸性の仮定の下で最適解への収束を保証する、適応的ステップサイズルールを用いた投影部分勾配法を適用する。
• リャプノフ解析およびマルティンゲール技法を用いて収束を確立し、凸および強く凸な場合の両方で最適な反復複雑度を証明する。

実験結果

リサーチクエスチョン

• RQ1 関数的または期待値制約を伴う確率的最適化問題に対して、最適な収束速度を達成するプライム型確率的アルゴリズムを設計できるか？
• RQ2 制約付き確率的最適化において、双対空間の反復や双対変数の推定を回避することは可能か？
• RQ3 目的関数と制約関数が両方とも凸である場合、確率的アルゴリズムの最適収束速度は何か？
• RQ4 目的関数と制約関数が強く凸である場合、収束速度はどのように変化するか？
• RQ5 提案されたフレームワークは、意思決定変数ではなく問題パラメータに定義された制約に対しても拡張可能か？

主な発見

• CSAアルゴリズムは、一般凸問題において最適性ギャップおよび制約違反の両方で$\mathcal{O}(1/\epsilon^2)$の最適収束速度を達成する。
• 目的関数および制約が強く凸である場合、CSAアルゴリズムはより速い$\mathcal{O}(1/\epsilon)$の収束速度を達成する。
• CSPAアルゴリズムは、問題パラメータに制約が定義される問題に対しても、同様の最適収束速度を保証する。
• 提案されたアルゴリズムは、双対空間の反復や双対変数の大きさの推定を一切必要としないプライム法である。
• 理論的結果は、『Computational Optimization and Applications』に掲載された以前の版を是正・改善し、従来の技術的問題を解消している。
• このフレームワークは、CVaR制約付きポートフォリオ最適化、半教師付き学習、ロバストメトリクス学習などの実世界の問題に適用可能である。