[論文レビュー] Almost surely constrained convex optimization

Olivier Fercoq, Ahmet Alacaoglu+2 more|arXiv (Cornell University)|Jan 31, 2019

Stochastic Gradient Optimization Techniques参考文献 30被引用数 11

ひとこと要約

本稿では、ほとんど確実に満たされなければならない無限個の線形包含制約を伴う凸最適化問題を解くための確率的勾配法、SASCを提案する。Nesterovのスムージングおよびホモトピー技術を活用することで、SASCは高価な行列値射影を回避し、一般および制限付き強い凸目的関数に対して、それぞれ最適な $Ø(\log(k)/\sqrt{k})$ および $\u00d8(\log(k)/k)$ の収束速度を達成する。正則化パrameterの調整を必要としない。

ABSTRACT

We propose a stochastic gradient framework for solving stochastic composite convex optimization problems with (possibly) infinite number of linear inclusion constraints that need to be satisfied almost surely. We use smoothing and homotopy techniques to handle constraints without the need for matrix-valued projections. We show for our stochastic gradient algorithm $\mathcal{O}(\log(k)/\sqrt{k})$ convergence rate for general convex objectives and $\mathcal{O}(\log(k)/k)$ convergence rate for restricted strongly convex objectives. These rates are known to be optimal up to logarithmic factors, even without constraints. We demonstrate the performance of our algorithm with numerical experiments on basis pursuit, a hard margin support vector machines and a portfolio optimization and show that our algorithm achieves state-of-the-art practical performance.

研究の動機と目的

• ほとんど確実に満たされなければならない無限個の線形制約を伴う確率的凸最適化問題に対処すること。
• 高次元設定において計算的に非現実的な行列値射影を避けることによる、確率的制約処理における負担を軽減すること。
• 既存手法で一般的な正則化パrameterのヒューリスティックな調整を回避する、パrameterフリーのアルゴリズムの開発。
• ほぼ確実な制約のもとで、一般および制限付き強い凸目的関数に対する最適な収束速度の確立。
• ポートフォリオ最適化やハードマージンSVMといった実世界の問題において、実用的優位性の提示。

提案手法

• アルゴリズムはNesterovのスムージング技術を用いてほぼ確実な制約を扱い、制約付き問題を滑らかな近似に変換する。
• ホモトピー続行法を用いて滑らかさパラメータを段階的に精密化し、真の解への収束を可能にする。
• 期待値目的関数 $F(x) = \mathbb{E}_\xi[f(x,\xi)]$ の確率的勾配と、非滑らか項 $h(x)$ のプロキシマル作用素を組み合わせる。
• 行列値制約集合への射影を回避し、ランダムな集合 $b(\xi)$ への射影のみを必要とする。
• 理論的分析に基づいてステップサイズ則を導出し、ユーザーによる調整なしに収束を保証する。
• リプシッツ連続関数および指示関数を含む複合問題へも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 行列値射影を必要とせず、ほとんど確実に満たされなければならない無限個の線形制約を扱える確率的一階法を設計できるか？
• RQ2 このような問題に対して達成可能な収束速度は何か？ そして、対数因子を除いて最適か？
• RQ3 SVM やポートフォリオ最適化のような応用分野で、正則化パrameterの調整を回避するパラメータフリーの手法が可能か？
• RQ4 実際の応用において、従来の射影ベースまたは正則化ベースの手法と比較して、提案手法の性能はどの程度か？
• RQ5 スムージングとホモトピー技術を、ほぼ確実な制約を伴う確率的最適化へ効果的に拡張できるか？

主な発見

• 提案されたSASCアルゴリズムは、一般凸目的関数に対して $\tilde{\mathcal{O}}(\log(k)/\sqrt{k})$ の収束速度を達成し、非制約設定における最良の既知のレートと一致する。
• 制限付き強い凸目的関数に対しては、SASCは $\tilde{\mathcal{O}}(\log(k)/k)$ の収束速度を達成し、対数因子を除いて最適である。
• 基底追求、ハードマージンSVM、ポートフォリオ最適化における数値実験では、SASCは正則化パラメータの調整なしに、最先端の手法を上回るか同等の性能を示す。
• ポートフォリオ最適化において、SASCは反復回数に伴う解への距離が安定して減少するが、SPPは大きなステップサイズでは停滞を示し、小さなステップサイズでは収束が遅くなる。
• SVMタスクにおいて、SASCはPegasosと同等の性能を、さまざまな正則化パラメータで達成するが、パラメータの調整を不要とする。
• 適応的正則化を用いたソフトマージン問題の逐次解法により、固定の $C$ を必要とせず、直接ハードマージンSVM問題を解くことに成功する。