[論文レビュー] Stochastic First- and Zeroth-order Methods for Nonconvex Stochastic Programming

Saeed Ghadimi, Guanghui Lan|arXiv (Cornell University)|Sep 22, 2013

Stochastic Gradient Optimization Techniques参考文献 32被引用数 48

ひとこと要約

本稿は、ノイズのある一次および零次オракル情報を利用した非凸確率的プログラミングのためのランダム化確率的勾配（RSG）法を提案する。近似的に最適な反復複雑性を確立し、近似的に最良の停留点を求めるためのものであり、大偏差性能を向上させるための後処理フェーズを提案。次元に有利な収束性を示すが、勾配フリー手法は凸設定において成立する。

ABSTRACT

In this paper, we introduce a new stochastic approximation (SA) type algorithm, namely the randomized stochastic gradient (RSG) method, for solving an important class of nonlinear (possibly nonconvex) stochastic programming (SP) problems. We establish the complexity of this method for computing an approximate stationary point of a nonlinear programming problem. We also show that this method possesses a nearly optimal rate of convergence if the problem is convex. We discuss a variant of the algorithm which consists of applying a post-optimization phase to evaluate a short list of solutions generated by several independent runs of the RSG method, and show that such modification allows to improve significantly the large-deviation properties of the algorithm. These methods are then specialized for solving a class of simulation-based optimization problems in which only stochastic zeroth-order information is available.

研究の動機と目的

• 勾配情報や関数値情報が限られた状況下での非凸確率的プログラミング問題を解くための確率的一次および零次手法の開発。
• 古典的SA法が失敗する非凸設定において、近似的に最良の停留点を計算するための反復複雑性の境界を確立すること。
• 複数の独立した実行を用いた後処理フェーズにより、確率的アルゴリズムの大偏差行動を改善すること。
• シミュレーションベース最適化問題に特化したRSG法の開発。ただし、確率的零次情報のみを前提とする。
• 滑らかで凸な確率的プログラミングにおける勾配フリー手法の次元依存性を分析し、スケーラビリティの向上を示すこと。

提案手法

• ノイズのある一次オラクル（SFO）出力を用いるランダム化確率的勾配（RSG）法を導入。これは確率的近似アルゴリズムとしての役割を果たす。
• 複数の独立したRSG実行から得られる解の短いリストを評価する後処理フェーズを採用。これにより、耐障害性および大偏差性能が向上する。
• 集中不等式を用いて勾配推定誤差の期待ノルムと真の勾配からの逸脱を分析し、複雑性境界を導出。
• 関数値の差分を用いてランダムな摂動による勾配推定を実現することで、零次設定にこの手法を適応。
• 非滑らか性を扱うためにパラメータμを用いたスムージング技術を用い、滑らかでない勾配推定誤差の期待値の境界を導出。
• 分散とバイアス分解を活用し、最終反復における勾配の期待ノルムをバインドすることで収束を確立。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある勾配情報を持つ非凸確率的プログラミング問題に対して、確率的一次手法はほぼ最適な収束レートを達成できるか？
• RQ2 反復複雑性を増加させることなく、確率的勾配手法の大偏差行動をどのように改善できるか？
• RQ3 滑らかで凸な確率的プログラミングにおける零次手法の反復およびオラクル複雑性は何か？また、次元にどのように依存するか？
• RQ4 RSG法は、関数値クエリ（零次情報）のみで動作するように適応可能か？ その際、有利な収束レートを維持できるか？
• RQ5 凸確率的プログラミングにおいて、勾配フリー手法の次元依存性は一次手法と比べてどうか？

主な発見

• 非凸確率的プログラミングにおいて、RSG法はε-近似的に最良の停留点を求めるためにO(1/ε²)の反復複雑性を達成し、これはほぼ最適である。
• 凸問題では、RSG法が最適なO(1/ε²)の反復複雑性を達成し、既知の下界と一致する。
• 後処理フェーズにより、失敗確率をΛに低下させ、複数の独立したRSG系列を実行し、最も良い解を選択することで、大偏差特性が向上する。
• 零次最適化のための2-RSGF法の複雑性は、O(nL²D_f²log(1/Λ)/ε + nL²(Ḋ + D_f²/Ḋ)²σ²/ε² log(1/Λ) + n log²(1/Λ)/Λ (1 + σ²/ε))で抑えられ、次元に有利な依存性を示す。
• 解析により、滑らかで凸なSPにおける勾配フリー手法は、非滑らか凸SPと比較して次元nにはるかに弱い依存性を示し、スケーラビリティが優れていることが判明。
• 複雑性境界が既知の下界と対数因子を除いて一致するため、ほぼ最適な収束レートを達成している。