[論文レビュー] Beyond Convexity: Stochastic Quasi-Convex Optimization

Elad Hazan, Kfir Y. Levy+1 more|arXiv (Cornell University)|Jul 8, 2015

Stochastic Gradient Optimization Techniques参考文献 11被引用数 50

ひとこと要約

この論文は、局所的擬凸関数および局所的リプシッツ関数の最適化のための確率的正規化勾配降下法（SNGD）を導入し、勾配ベース手法の適用範囲を凸性を超えて拡大する。SNGDは$O(1/\epsilon^2)$反復で$C2$-最適解に収束することを証明しており、勾配爆発や平坦帯の問題による発散を防ぐために最小のミニバッチサイズを必要とする。

ABSTRACT

Stochastic convex optimization is a basic and well studied primitive in machine learning. It is well known that convex and Lipschitz functions can be minimized efficiently using Stochastic Gradient Descent (SGD). The Normalized Gradient Descent (NGD) algorithm, is an adaptation of Gradient Descent, which updates according to the direction of the gradients, rather than the gradients themselves. In this paper we analyze a stochastic version of NGD and prove its convergence to a global minimum for a wider class of functions: we require the functions to be quasi-convex and locally-Lipschitz. Quasi-convexity broadens the con- cept of unimodality to multidimensions and allows for certain types of saddle points, which are a known hurdle for first-order optimization methods such as gradient descent. Locally-Lipschitz functions are only required to be Lipschitz in a small region around the optimum. This assumption circumvents gradient explosion, which is another known hurdle for gradient descent variants. Interestingly, unlike the vanilla SGD algorithm, the stochastic normalized gradient descent algorithm provably requires a minimal minibatch size.

研究の動機と目的

• 凸関数を超えた非凸問題の広いクラスにまで確率的最適化を拡張すること。
• 特に勾配爆発や平坦帯の問題に起因するSGDの限界を是正すること。
• 局所的擬凸関数および局所的リプシッツ関数に基づく新しい最適化設定を形式化すること。
• これらの条件下での確率的正規化勾配降下法（SNGD）の収束性を分析すること。
• SNGD収束に必要なミニバッチサイズの理論的下界を確立すること。

提案手法

• 勾配の方向に基づいて更新するが、大きさには依存しない、正規化勾配降下法（SNGD）の確率的バージョンを提案する。
• 未定義の関数を一般化するための「局所的擬凸性」の概念を導入し、特定の鞍点や平坦帯を許容する。
• 局所的リプシッツ条件を課し、最適解から遠く離れた場所では勾配が無限大であっても、最小値付近では有界性を保証する。
• 更新の安定化と発散の防止のため、最小バッチサイズを用いたミニバッチ勾配推定を採用する。
• 離散格子上のマルコフ連鎖モデルを用いて収束を分析し、吸収確率の上限を証明する。
• ステップサイズを定数$\eta = \epsilon / G$とし、$G$は勾配の大きさの上限を表す。

実験結果

リサーチクエスチョン

• RQ1 凸性を超えた非凸問題において、確率的勾配法が理論的に有効に機能するか。
• RQ2 目的関数にどのような条件が課されると、確率的設定下での正規化勾配降下法が収束するか。
• RQ3 標準的なSGDが勾配の平坦帯や爆発の影響を受ける理由は何か、そしてその対策は何か。
• RQ4 SNGDが収束するための最小ミニバッチサイズは何か、なぜそれが必要なのか。
• RQ5 SNGDは、凸問題におけるSGDと同等の収束速度を、より広い非凸関数クラスにおいて達成できるか。

主な発見

• 局所的擬凸関数および局所的リプシッツ関数に対して、SNGDは$O(1/\epsilon^2)$反復で$\epsilon$-最適解に収束する。
• アルゴリズムは、最小のミニバッチサイズを理論的に必要とすることが証明されており、それ以下のバッチサイズでは勾配推定の不安定性により発散する可能性がある。
• 最適解の周囲$\Omega(\sqrt{\epsilon})$領域で滑らかな関数に対しては、SNGDはより速い$O(1/\epsilon)$の収束速度を達成する。
• 与えられた設定下で$\epsilon \leq 0.1$のとき、SNGDが$\epsilon$-最適解に到達する確率は$\left(\frac{1}{4}\right)^{9}$未満に上限づけられる。
• 実験結果では、SNGDは1層の隠れ層を持つネットワークでMNISTに対してネステロフの加速法と同等の性能を示した。
• ミニバッチサイズを大きくするとSNGDの収束性能が顕著に向上し、理論的に求められる大きなバッチサイズの必要性を裏付ける。