[論文レビュー] Optimal Convergence for Stochastic Optimization with Multiple Expectation Constraints

Kinjal Basu, Preetam Nandy|arXiv (Cornell University)|Jun 8, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、複数の期待値制約を伴う確率的最適化のための複数協調的確率的近似（MCSA）アルゴリズムを提案する。既存の研究を拡張し、一般の凸目的関数と制約を扱えるようにした。最適性ギャップおよび制約違反の両方について、最適な $Ø(1/\sqrt{N})$ 収束レートを確立し、以前の解析における理論的ギャップを埋め、シミュレーションにおいて最先端の手法を上回る実験的優位性を示した。

ABSTRACT

In this paper, we focus on the problem of stochastic optimization where the objective function can be written as an expectation function over a closed convex set. We also consider multiple expectation constraints which restrict the domain of the problem. We extend the cooperative stochastic approximation algorithm from Lan and Zhou [2016] to solve the particular problem. We close the gaps in the previous analysis and provide a novel proof technique to show that our algorithm attains the optimal rate of convergence for both optimality gap and constraint violation when the functions are generally convex. We also compare our algorithm empirically to the state-of-the-art and show improved convergence in many situations.

研究の動機と目的

• 大規模なオンラインプラットフォームに生じる複数の期待値制約を伴う確率的最適化問題に対処すること。
• 単一の制約に限られていた協調的確率的近似（CSA）アルゴリズムを複数の制約を扱えるように拡張すること。
• 以前のCSA手法の収束解析における理論的ギャップを解消し、新たな証明技法を提供すること。
• 一般の凸性仮定の下で、最適性ギャップおよび制約違反の両方の最適収束レートを確立すること。
• シミュレートされた環境において、最先端の手法と比較してアルゴリズムの性能を実証的に検証すること。

提案手法

• 制約を処理するために1強凸関数に基づくプロキシマル射影を用いる、複数協調的確率的近似（MCSA）アルゴリズムを提案する。
• 各反復において、最も違反度の高い制約に基づく部分勾配方向を選択する。すべての制約が満たされている場合は目的関数の勾配に基づく。
• Bregman散発に基づく射影を用いて、期待値制約で定義される実行可能集合内に反復点を保つ。
• 制約違反を管理するために許容誤差列 $\eta_{j,t}$ を用い、実行可能性を徐々に緩和可能にする。
• 過去の観測値を用いて確率的勾配推定値を再帰的平均化することで、制約関数の推定値を更新するオンライン版、MCSA-onlineを導入する。
• 従来のCSAアルゴリズムの解析におけるギャップを克服するため、収束を確立する新しい証明技法を提案する。

実験結果

リサーチクエスチョン

• RQ1 協調的確率的近似フレームワークは、最適収束レートを維持したまま、複数の期待値制約を扱えるように拡張可能か？
• RQ2 元のCSAアルゴリズムの収束証明に存在する理論的ギャップは何か？ そして、それらを厳密に埋めることは可能か？
• RQ3 一般の凸確率的計画問題に複数の制約がある場合、最適性ギャップおよび制約違反の両方について $\mathcal{O}(1/\sqrt{N})$ 収束レートが最適であるか？
• RQ4 ノイズレベルが変化する条件下で、提案されたMCSAアルゴリズムは、Yuら（2017）の最先端手法と比較して収束速度およびロバスト性において優れているか？
• RQ5 理論的保証と実験的性能を維持したまま、オンライン学習に適応可能か？

主な発見

• 一般の凸性仮定の下で、MCSAアルゴリズムは期待最適性ギャップおよび制約違反の両方について、最適な $\mathcal{O}(1/\sqrt{N})$ 収束レートを達成する。
• 元のCSAアルゴリズムの理論的解析における顕著なギャップを解消し、新規かつ厳密な証明技法を提供する。
• シミュレートデータ上の実験結果から、MCSAおよびそのオンライン版は、Yuら（2017）の最先端手法を上回ることが示された。特に、信号対雑音比が低い状況で顕著な優位性を示した。
• MCSA-online版は、過去の観測値を用いた確率的勾配推定値の再帰的更新により、オンライン学習に効果的にアルゴリズムを適応させた。
• 高分散および困難な実行可能領域設定下でも、MCSAはベースライン手法に比べて優れたロバスト性と高速な収束を示した。
• 結果から、理論的収束レートが実際の最適化環境においても達成可能であり、さらに実用的な利点を有することが確認された。