[論文レビュー] Primal-dual stochastic gradient method for convex programs with many functional constraints

Yangyang Xu|arXiv (Cornell University)|Feb 8, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用数 16

ひとこと要約

本稿は、多数の関数的制約を伴う凸最適化問題に対して、反復毎に1つのランダムに抽出された制約のみを評価する、新しいプリマルデュアル確率勾配法を提案する。増大ラグランジュ関数と確率的デュアル更新に基づく適応的確率的部分勾配更新を活用することで、凸問題に対して最適な $O(1/\sqrt{k})$ の収束速度を達成し、強い凸問題に対してはほぼ最適な $O((\log k)/k)$ の収束速度を達成する。また、反復あたりの計算コストは低く抑えられる。

ABSTRACT

Stochastic gradient method (SGM) has been popularly applied to solve optimization problems with objective that is stochastic or an average of many functions. Most existing works on SGMs assume that the underlying problem is unconstrained or has an easy-to-project constraint set. In this paper, we consider problems that have a stochastic objective and also many functional constraints. For such problems, it could be extremely expensive to project a point to the feasible set, or even compute subgradient and/or function value of all constraint functions. To find solutions of these problems, we propose a novel (adaptive) SGM based on the classical augmented Lagrangian function. Within every iteration, it inquires a stochastic subgradient of the objective, and a subgradient and the function value of one randomly sampled constraint function. Hence, the per-iteration complexity is low. We establish its convergence rate for convex problems and also problems with strongly convex objective. It can achieve the optimal $O(1/\sqrt{k})$ convergence rate for convex case and nearly optimal $O\big((\log k)/k\big)$ rate for strongly convex case. Numerical experiments on a sample approximation problem of the robust portfolio selection and quadratically constrained quadratic programming are conducted to demonstrate its efficiency.

研究の動機と目的

• 目的関数と制約関数の完全な射影や部分勾配評価が計算的に非現実的となる、多数の関数的制約を伴う凸確率的計画問題を解く課題に対処すること。
• 高次元の制約数に対しても低反復コストを維持できる確率的勾配法を構築すること。
• 目的関数と制約関数の確率的部分勾配と関数値へのアクセスが与えられたもとで、凸問題および強い凸問題の両方に対して最適またはほぼ最適な収束速度を達成すること。
• 蓄積された部分勾配ノルムに応じてスケーリングされる、プライマル変数のための適応的ステップサイズ戦略を設計すること。
• 目的関数と制約関数の確率的部分勾配へのアクセスのみを仮定し、最小限の仮定のもとで収束を保証すること。

提案手法

• 増大ラグランジュ関数に基づくプリマルデュアル確率勾配法を提案し、目的関数と制約項を統合した1つのサドルポイント問題に変換する。
• 各反復で、一様にランダムに1つの制約関数をサンプリングし、その部分勾配と関数値のみを照会することで、反復あたりのコストを低減する。
• サンプリングされた制約の部分勾配と関数値を用いて、増大ラグランジュ関数の確率的部分勾配を構築し、射影勾配降下法によるプライマル更新を可能にする。
• プライマル更新に、対角行列 $\mathbf{D}_k$ を用いた前処理を導入し、定数ステップサイズと、蓄積された部分勾配ノルムに基づく適応的ステップサイズの2つの設定を採用する。
• サンプリングされた制約に対応する成分のみを更新するランダム化座標更新則を用いて、デュアル変数 $\mathbf{z}$ を更新する。
• 蓄積された確率的部分勾配の $\ell_2$ ノルムを組み込んだ、$\mathbf{D}_k$ 内の適応的ステップサイズ戦略を導入し、劣化した条件数を持つ設定でも収束を改善する。

実験結果

リサーチクエスチョン

• RQ1 多数の関数的制約を伴う凸計画問題を扱えるように、反復あたりの計算コストを低く保てる確率的プリマルデュアル法を設計できるか？
• RQ2 1反復あたり1つの制約のみをサンプリングし、目的関数と制約の部分勾配が確率的である場合、どのような収束速度が達成可能か？
• RQ3 このようなサンプリングと確率的性質のもとで、凸問題に対して最適な $O(1/\sqrt{k})$ の収束速度、強い凸問題に対してはほぼ最適な $O((\log k)/k)$ の収束速度を達成できるか？
• RQ4 蓄積された部分勾配ノルムに基づく適応的ステップサイズ選択が、理論的および実用的観点で収束に与える影響は何か？
• RQ5 本手法は、ロバストポートフォリオ選択や二次的制約付き二次計画問題といった大規模問題において、数値的に効率的かつスケーラブルか？

主な発見

• 提案手法は、凸問題に対して最適な $O(1/\sqrt{k})$ の収束速度を達成し、確率的勾配法の最良の既知のレートと一致する。
• 強い凸問題に対しては、$O((\log k)/k)$ のほぼ最適な収束速度を達成する。これは対数要因を除いてタイトである。
• 収束保証は、標準的な仮定のもとで成り立つ。具体的には、確率的部分勾配の分散が有界であること、および制約関数の部分勾配が有界であること。
• $\mathbf{D}_k$ 内の適応的ステップサイズ戦略により、固定ステップサイズに比べて数値的安定性と収束速度が向上する。
• ロバストポートフォリオ選択および二次的制約付き二次計画問題に対する数値実験により、制約数の増加に伴っても本手法の効率性とスケーラビリティが確認された。
• 反復あたりのコストは低く保たれ、1反復あたり1つのサンプリングされた制約の部分勾配と関数値の照会のみが必要であるため、大規模問題に適している。