[論文レビュー] Block stochastic gradient iteration for convex and nonconvex optimization

Yangyang Xu, Wotao Yin|arXiv (Cornell University)|Aug 12, 2014

Sparse and Compressive Sensing Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、凸および非凸最適化のためのブロック確率的勾配（BSG）手法を提案する。この手法は、確率的勾配近似とガウス＝ザイデル型ブロック座標更新を組み合わせるものであり、凸ケースでは確率的勾配法と同等の収束速度を達成し、非凸ケースでは期待される一次最適性違反を用いてグローバル収束を確立する。大規模問題において、SGおよび決定的BCDの両者を凌駆する性能を示す。

ABSTRACT

The stochastic gradient (SG) method can minimize an objective function composed of a large number of differentiable functions, or solve a stochastic optimization problem, to a moderate accuracy. The block coordinate descent/update (BCD) method, on the other hand, handles problems with multiple blocks of variables by updating them one at a time; when the blocks of variables are easier to update individually than together, BCD has a lower per-iteration cost. This paper introduces a method that combines the features of SG and BCD for problems with many components in the objective and with multiple (blocks of) variables. Specifically, a block stochastic gradient (BSG) method is proposed for solving both convex and nonconvex programs. At each iteration, BSG approximates the gradient of the differentiable part of the objective by randomly sampling a small set of data or sampling a few functions from the sum term in the objective, and then, using those samples, it updates all the blocks of variables in either a deterministic or a randomly shuffled order. Its convergence for both convex and nonconvex cases are established in different senses. In the convex case, the proposed method has the same order of convergence rate as the SG method. In the nonconvex case, its convergence is established in terms of the expected violation of a first-order optimality condition. The proposed method was numerically tested on problems including stochastic least squares and logistic regression, which are convex, as well as low-rank tensor recovery and bilinear logistic regression, which are nonconvex.

研究の動機と目的

• 目的関数に多数の成分を含み、複数の変数ブロックを持つ大規模最適化問題に対処すること。
• 確率的勾配法の効率性とブロック座標降下法の構造に配慮した更新の両者を統合すること。
• 非i.i.d.かつ非不偏な確率的勾配のもとでも収束保証を維持する手法を開発すること。
• 低ランクテンソル回復や双線形ロジスティック回帰を含む、凸および非凸問題における性能を評価すること。

提案手法

• 滑らかでない部分の目的関数に対して、確率的勾配を用い、ガウス＝ザイデル順序で変数のブロックを更新するブロック確率的勾配（BSG）手法を提案する。
• 各ブロックのリプシッツ定数を小さくすることで、標準的なSGよりも大きなステップサイズを許容し、収束速度を向上させる。
• 非滑らかで正則化項 $ r_i({\mathbf{x}}_i) $（例：$ \ell_1 $-ノルム）に対してプロキシマル更新を適用する。
• ブロック更新にランダムシャッフルまたは固定順序を用いることで、効率的かつ安定した収束を実現する。
• 典型的な不偏性仮定を緩和し、非i.i.d.な確率的勾配のもとでも収束を確立する。
• 凸および非凸設定の両方で収束を保証するステップサイズルールを用いる。

実験結果

リサーチクエスチョン

• RQ1 ブロック単位の確率的勾配法は、収束速度および精度の面で、標準的な確率的勾配法を上回ることができるか？
• RQ2 確率的勾配を用いたガウス＝ザイデル型ブロック更新は、非凸問題においても収束を維持するか？
• RQ3 高次元かつ構造的な目的関数を持つ非凸問題において、BSGは決定的ブロック座標降下法（BCD）を上回るか？
• RQ4 凸設定において、BSGはSGと同等の収束速度を達成しつつ、ブロック構造を持つ目的関数に対応できるか？
• RQ5 ブロック単位のステップサイズおよび各ブロックのリプシッツ定数の収束性能に与える影響は何か？

主な発見

• 凸ケースでは、BSGは標準的な確率的勾配法と同等の部分線形収束速度を達成し、理論的下界と一致する。
• 非凸ケースでは、期待される一次最適性違反を用いて、期待値としてのグローバル収束が保証され、一次静止点に収束する。
• 確率的最小二乗法やロジスティック回帰などの凸問題において、BSGは収束速度および最終的な目的関数値の両面で、標準的なSGを顕著に上回る。
• 低ランクテンソル回復や双線形ロジスティック回帰などの非凸問題において、BSGはしばしば初期に悪い局所最小値に停滞する決定的BCDを上回る。
• 各ブロックのリプシッツ定数に基づくブロック単位のステップサイズの使用により、標準的なSGよりも大きなステップを許容し、収束が速くなる。
• 数値実験の結果、BSGは確率的手法のスケーラビリティとブロック座標法の構造に配慮した更新を併せ持つため、大規模な非凸問題に対して効果的であることが確認された。