[論文レビュー] Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization

Saeed Ghadimi, Guanghui Lan+1 more|arXiv (Cornell University)|Aug 29, 2013

Stochastic Gradient Optimization Techniques参考文献 26被引用数 11

ひとこと要約

本稿では、一般の距離関数を用いて制約集合の幾何構造を活用する、ミニバッチサンプリングを用いた非凸確率的複合最適化のためのランダム化確率的射影勾配（RSPG）アルゴリズムを提案する。ほぼ最適な反復回数の複雑度を確立し、特に軽尾ノイズ条件下で解の分散を顕著に低減する二段階の後処理フェーズを導入。理論的・実験的妥当性は、半教師付き学習を含む非凸問題に対して確認されている。

ABSTRACT

This paper considers a class of constrained stochastic composite optimization problems whose objective function is given by the summation of a differentiable (possibly nonconvex) component, together with a certain non-differentiable (but convex) component. In order to solve these problems, we propose a randomized stochastic projected gradient (RSPG) algorithm, in which proper mini-batch of samples are taken at each iteration depending on the total budget of stochastic samples allowed. The RSPG algorithm also employs a general distance function to allow taking advantage of the geometry of the feasible region. Complexity of this algorithm is established in a unified setting, which shows nearly optimal complexity of the algorithm for convex stochastic programming. A post-optimization phase is also proposed to significantly reduce the variance of the solutions returned by the algorithm. In addition, based on the RSPG algorithm, a stochastic gradient free algorithm, which only uses the stochastic zeroth-order information, has been also discussed. Some preliminary numerical results are also provided.

研究の動機と目的

• 制約付き非凸確率的複合最適化問題に対する効率的な確率的アルゴリズムの不足に応えること。
• 一般の距離関数を用いて実行可能集合の幾何構造に適応するミニバッチ確率的射影勾配法を開発すること。
• 凸および非凸の場合を統一的な枠組みで扱い、両者に対してほぼ最適な反復回数の複雑度境界を確立すること。
• 特に軽尾ノイズ仮定下で、二段階の後処理フェーズにより解の分散を低減すること。
• 勾配の入手が不可能な問題に適した関数評価のみを用いるゼロオーダーストキャスティック最適化へのフレームワークの拡張

提案手法

• 反復毎に確率的勾配のミニバッチを用いることで分散を低減し収束性を向上させるRSPGアルゴリズムを提案する。
• 射影ステップを定義するために一般の距離関数（例：Bregman発散）を用い、制約集合Xの幾何構造に適応可能にする。
• 解の軌跡から解を選択する二段階の後処理フェーズを備えた二段階RSPG（2-RSPG）アルゴリズムを導入する。
• 標準的な仮定の下でアルゴリズムを分析：確率的勾配の分散が有界であること、およびfの勾配がリプシッツ連続であること。
• 期待値または高確率的にε解に到達するためのSFO呼び出し回数の観点から複雑度境界を導出する。
• 勾配が入手不可な問題に適した、関数評価のみを用いるRSPGのゼロオーダー版を提案する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ確率的射影勾配法は、非凸確率的複合問題に対してほぼ最適な複雑度を達成できるか？
• RQ2 一般の距離関数の使用が、制約付き非凸確率的最適化における収束性をどのように向上させるか？
• RQ3 二段階の後処理フェーズは、標準的なRSPGと比較して解の分散を顕著に低減できるか？
• RQ4 提案アルゴリズムの理論的複雑度は、ε解を達成するための確率的オракル呼び出し回数でどのように記述できるか？
• RQ5 関数評価のみを用いるフレームワークは、ゼロオーダーストキャスティック最適化へ拡張可能か？

主な発見

• RSPGアルゴリズムは、期待値においてε解を達成するための複雑度O(σ²/ε²)を達成し、凸問題の最適レートと一致する。
• 2-RSPGアルゴリズムは分散を顕著に低減し、特に軽尾ノイズ下で2-RSPG-Vバージョンが最小の分散を示す。
• 半教師付きSVM問題において、2-RSPG-Vは射影勾配ノルム0.0339（n=1000、25kサンプル）を達成し、RSPGの0.1007より顕著に低い。
• 2-RSPG-Vの収束時の平均目的関数値は0.9351（n=1000）であり、RSPG（0.9513）および2-RSPG（0.9719）を上回る。
• 二段階の後処理フェーズは、大偏差性能を向上させ、O(log(1/Λ)σ²/ε²)の複雑度で高確率（1−Λ）解を達成可能となる。
• RSPGのゼロオーダー版は、勾配が入手不可な問題に対しても有効であり、勾配なし設定へのフレームワークの拡張を可能にする。