[論文レビュー] A Stochastic Line Search Method with Convergence Rate Analysis

Courtney Paquette, Katya Scheinberg|arXiv (Cornell University)|Jul 20, 2018

Stochastic Gradient Optimization Techniques参考文献 18被引用数 36

ひとこと要約

本稿では、勾配および関数推定の精度を、知られる数量を用いて適応的に調整する確率的ラインサーチ手法を提案する。これにより、決定的勾配降下法と同等の収束速度が達成される。非凸問題では $O(\varepsilon^{-2})$、凸問題では $O(\varepsilon^{-1})$、強く凸な問題では $O(\log \varepsilon^{-1})$ の収束速度を達成し、確率的ラインサーチにおける適応的サンプリングを伴う最初の理論的収束速度解析を提供する。

ABSTRACT

For deterministic optimization, line-search methods augment algorithms by providing stability and improved efficiency. We adapt a classical backtracking Armijo line-search to the stochastic optimization setting. While traditional line-search relies on exact computations of the gradient and values of the objective function, our method assumes that these values are available up to some dynamically adjusted accuracy which holds with some sufficiently large, but fixed, probability. We show the expected number of iterations to reach a near stationary point matches the worst-case efficiency of typical first-order methods, while for convex and strongly convex objective, it achieves rates of deterministic gradient descent in function values.

研究の動機と目的

• 確率的勾配降下法（SGD）における不安定性およびステップサイズへの感受性を、ラインサーチ機構の導入によって解消すること。
• 現在の勾配および関数推定値に基づく、知られる数量に依存して動的にサンプリング精度を調整する実用的な確率的ラインサーチの開発。
• 非凸、凸、強く凸な確率的最適化問題における理論的収束速度の確立。
• 実時間で観測可能な数量に基づく適応的サンプルサイズ選択を伴う、確率的ラインサーチにおける収束速度解析の初の提供。

提案手法

• 古典的なArmijoバックトラックラインサーチを確率的設定に適応し、ノイズを含む勾配および関数推定値を用いる。
• 確率的Armijo条件の導入：$ f(x_k + \alpha_k d_k) \leq f(x_k) - \theta \alpha_k \|g_k\|^2 $、ここで $ g_k $ は確率的勾配推定値。
• 勾配および関数推定の精度を制御するための適応的サンプリングを採用し、$ p_g, p_f > 1/2 $ の確率が十分な品質を保証する。
• 確率的過程の枠組みを用いて収束を分析し、有界な分散仮定の下で潜在関数 $ \Phi_k $ の期待値の減少を導出する。
• リプシッツ連続性および勾配の分散バウンドから導かれる定数を用いて、$ \|\nabla f(x_k)\|^2 \leq \varepsilon $ となるまでの期待反復回数のバウンドを導出する。
• バックトラックに基づく動的ステップサイズ選択戦略を導入し、Armijo条件が高確率で満たされるまでステップサイズを減少させる。

実験結果

リサーチクエスチョン

• RQ1 理論的収束速度保証を伴う確率的ラインサーチ手法を設計することは可能か？
• RQ2 勾配および関数値の適応的サンプリングを用いることで、確率的最適化において決定的収束速度を達成できるか？
• RQ3 現在の反復点および勾配などの、知られる数量のみを用いて、確率的推定の必要な精度を特定できるか？
• RQ4 提案手法は非凸問題において $ O(\varepsilon^{-2}) $ の反復複雑度を達成するか？これは決定的勾配降下法の最悪ケースと一致する。
• RQ5 凸および強く凸な問題において、それぞれ $ O(\varepsilon^{-1}) $ および $ O(\log \varepsilon^{-1}) $ の収束速度を達成できるか？

主な発見

• 非凸滑らか関数において、期待反復複雑度が $ O(\varepsilon^{-2}) $ に達し、決定的勾配降下法の最悪ケースと一致する。
• 凸関数では、関数値における $ O(\varepsilon^{-1}) $ の収束速度を達成し、決定的勾配降下法と一致する。
• 強く凸な場合、$ O\left(\log \varepsilon^{-1}\right) $ の反復複雑度を達成し、再び決定的手法と一致する。
• 期待反復回数 $ \mathbb{E}[T_\varepsilon] $ は、$ \|\nabla f(X_k)\|^2 \leq \varepsilon $ となるまでの上限として、$ \frac{p_g p_f}{2p_g p_f - 1} \cdot \frac{L^3 \kappa_g^3 \kappa_2^3 \Phi_0}{\kappa_1^2 \beta^2} \cdot \frac{1}{\varepsilon^2} + 1 $ で与えられ、$ \Phi_0 $ は初期条件に依存する。
• 勾配および関数値のための必要なサンプリング精度は、$ \|\nabla f(x_k)\| $、$ \alpha_{\max} $、および $ \kappa_1, \kappa_2 $ などの知られる数量に基づいて決定され、実装可能性を保証する。
• 本手法は、実時間で観測可能な数量に基づく適応的サンプルサイズ選択を伴う確率的ラインサーチにおける収束速度解析を、初めて提供する。