[論文レビュー] On Graduated Optimization for Stochastic Non-Convex Problems

Elad Hazan, Kfir Y. Levy+1 more|arXiv (Cornell University)|Mar 12, 2015

Stochastic Gradient Optimization Techniques参考文献 19被引用数 21

ひとこと要約

本稿では、非凸問題に対する段階的最適化に基づく1次確率的アルゴリズムを提案し、$\varepsilon$-最適解への収束を$O(1/\varepsilon^2)$の勾配ステップで保証する。著者らが定義する$\sigma$-よい関数クラスに対して有効である。この手法は確率的およびゼロオーダー設定へ拡張され、後者では$O(d^2/\varepsilon^4)$の収束が達成された。実験ではニューラルネットワークを用いたMNISTデータセット上でも本手法の有効性が検証された。

ABSTRACT

The graduated optimization approach, also known as the continuation method, is a popular heuristic to solving non-convex problems that has received renewed interest over the last decade. Despite its popularity, very little is known in terms of theoretical convergence analysis. In this paper we describe a new first-order algorithm based on graduated optimiza- tion and analyze its performance. We characterize a parameterized family of non- convex functions for which this algorithm provably converges to a global optimum. In particular, we prove that the algorithm converges to an ε-approximate solution within O(1/ε^2) gradient-based steps. We extend our algorithm and analysis to the setting of stochastic non-convex optimization with noisy gradient feedback, attaining the same convergence rate. Additionally, we discuss the setting of zero-order optimization, and devise a a variant of our algorithm which converges at rate of O(d^2/ε^4).

研究の動機と目的

• 実用的に広く用いられているが、形式的な収束保証が欠けている非凸最適化問題における段階的最適化の厳密な理論的分析を提供すること。
• 段階的最適化がグローバル最適解に収束することを保証する非凸関数のパラメータ化されたクラス（$\sigma$-よいと呼ぶ）を定義すること。
• ノイズのある勾配フィードバックを用いる段階的最適化に基づく1次確率的アルゴリズムを設計し、$O(1/\varepsilon^2)$の収束レートを達成すること。
• 勾配が利用不可で関数値クエリのみ可能なゼロオーダー最適化モデルへのフレームワークの拡張を行い、$O(d^2/\varepsilon^4)$の収束レートを確立すること。
• 深層ニューラルネットワークの学習において、本手法の有効性を実験的に検証し、収束の加速および悪質な局所最適解からの脱出を示すこと。

提案手法

• 本稿では、滑らかさ、強い凸性、中心化の関係を特徴とする構造的性質を持つ関数クラスとして、$\sigma$-よいと呼ばれる新しい関数クラスを導入した。このクラスでは段階的最適化がグローバル最適解に収束することが保証される。
• 提案手法$\text{GradOpt}_G$は、元の目的関数を段階的に滑らかにしたバージョンを繰り返し最適化する。滑らかさを明示的な畳み込みで近似せず、ランダムサンプリングにより滑らか関数を近似する。
• 確率的設定では、ノイズのある勾配オракルを用いて反復を更新し、$O(1/\sigma^2\varepsilon^2)$回の反復で$\varepsilon$-最適解に収束することが保証される。
• ゼロオーダー設定では、有限差分によるランダム勾配推定を用いるアルゴリズムの変種が開発され、$O(d^2/\sigma^2\varepsilon^4)$の収束速度が達成された。
• アルゴリズムは段階を経て進行する：初期段階では高めの滑らかさ（$\delta = 7$）を用い、徐々に滑らかさを減少させ、各段階の解を次の段階の初期値として使用する。
• 理論的分析は、滑らかさによって生じるバイアスのバウンディングと、確率的勾配の分散の制御に依拠しており、非凸性が存在しても収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 段階的最適化は、確率的非凸最適化問題に対して厳密に分析可能であり、どのような条件下でグローバル最適解に収束するのか？
• RQ2 段階的最適化が$\varepsilon$-最適解に確実に収束するような自然な非凸関数クラスは存在するか？
• RQ3 関数値クエリのみが利用可能な状況（ゼロオーダー最適化）に、この手法を拡張可能か？また、達成可能な収束速度は何か？
• RQ4 提案手法は、ニューラルネットワーク学習のような非凸問題において、標準的な確率的勾配降下法（MSGD）よりも悪質な局所最適解からの脱出に優れているか？
• RQ5 理論的枠組みは、2次最適化やその他の最適化手法へ拡張可能か？収束速度の向上が図れるか？

主な発見

• $\sigma$-よい関数に対して、本アルゴリズムは$O(1/\varepsilon^2)$の勾配ベースステップで$\varepsilon$-近似解に収束する。収束レートは滑らかさパラメータ$\sigma$に依存する。
• ノイズのある勾配が利用可能な確率的設定でも、同じ$O(1/\varepsilon^2)$の収束速度を達成し、次元$d$に依存しない。
• ゼロオーダー最適化モデルでは、$O(d^2/\varepsilon^4)$の反復回数で収束する。勾配が得られないため、勾配推定の困難さが反映されている。
• MNIST上での実験結果から、段階的最適化手法が収束を加速し、標準的MSGDが停止するような局所最適解からも脱出可能であることが示された。
• 滑らかさパラメータ$\delta=7$の損失関数の滑らか版は、損失関数の地形における細い谷を解消し、最適化アルゴリズムが局所最適解から脱出し、グローバル最適解に近づける。
• $\sigma$-よい性質は、ニューラルネットワーク学習など実世界のデータに見られる非凸構造（局所最適解を取り囲む細く深い谷）を捉えている。