[論文レビュー] Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation

Si Yi Meng, Sharan Vaswani+3 more|arXiv (Cornell University)|Oct 10, 2019

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

この論文は、滑らかで強い凸関数に対して、一定のバッチサイズと適応的ステップサイズを用いて、補間条件下でグローバル線形収束を達成する正則化された部分サンプルニュートン法（R-SSN）を提案する。さらに、バッチサイズを増大させることでR-SSNが局所的2次収束を達成することを示し、補間領域における確率的L-BFGSのグローバル線形収束を確立した。合成データおよび実データにおいて、反復回数およびウォールクロック時間の両面で高速な収束を示した。

ABSTRACT

We consider stochastic second-order methods for minimizing smooth and strongly-convex functions under an interpolation condition satisfied by over-parameterized models. Under this condition, we show that the regularized subsampled Newton method (R-SSN) achieves global linear convergence with an adaptive step-size and a constant batch-size. By growing the batch size for both the subsampled gradient and Hessian, we show that R-SSN can converge at a quadratic rate in a local neighbourhood of the solution. We also show that R-SSN attains local linear convergence for the family of self-concordant functions. Furthermore, we analyze stochastic BFGS algorithms in the interpolation setting and prove their global linear convergence. We empirically evaluate stochastic L-BFGS and a "Hessian-free" implementation of R-SSN for binary classification on synthetic, linearly-separable datasets and real datasets under a kernel mapping. Our experimental results demonstrate the fast convergence of these methods, both in terms of the number of iterations and wall-clock time.

研究の動機と目的

• 過パラメータ化モデルに共通する補間条件の下で、確率的2次順序法の収束を分析すること。
• 一定のバッチサイズと適応的ステップサイズを用いて、R-SSNのグローバル線形収束を確立すること。
• バッチサイズを増大させることで、補間条件下におけるR-SSNの局所的2次収束を示すこと。
• 自己共形関数および補間下での確率的L-BFGSに対する収束解析を拡張すること。
• R-SSNおよび確率的L-BFGSの収束速度が反復回数およびウォールクロック時間の両面で速いかを実証的に検証すること。

提案手法

• 訓練例のバッチを用いて部分サンプルされたヘッセ行列と勾配を計算する正則化された部分サンプルニュートン法（R-SSN）を提案する。
• 一意な更新方向と安定性を保証するために、Levenberg-Marquardt正則化を適用する。
• 適応的ステップサイズと一定のバッチサイズを用いて、期待値におけるグローバル線形収束を達成する。
• バッチサイズを増大させることで、解の近傍における線形-2次収束を分析する。
• 自己共形関数への解析を拡張し、補間下でのR-SSNの局所的線形収束を証明する。
• 確率的L-BFGSの解析を行い、補間条件下でのグローバル線形収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 R-SSNは、一定のバッチサイズと適応的ステップサイズを用いて、補間条件下でグローバル線形収束を達成できるか？
• RQ2 R-SSNにおけるバッチサイズの増大は、補間領域において局所的2次収束をもたらすか？
• RQ3 R-SSNの収束保証は、補間下での自己共形関数へと拡張可能か？
• RQ4 確率的L-BFGSは、補間条件下でグローバル線形収束を達成するか？
• RQ5 R-SSNおよび確率的L-BFGSは、反復回数およびウォールクロック時間の両面で1次順序法と比較して収束が速いか？

主な発見

• R-SSNは、強い凸関数に対する補間条件下で、一定のバッチサイズと適応的ステップサイズを用いて、期待値におけるグローバル線形収束を達成する。
• バッチサイズを増大させることで、R-SSNは解の近傍で局所的線形-2次収束を達成し、以前の手法がより速いバッチサイズの増大を要件としていたのを上回る。
• 補間下では、自己共形関数に対するR-SSNが期待値における局所的線形収束を達成する。
• 確率的L-BFGSは、補間条件下でグローバル線形収束を達成することが証明された。
• 実験的結果により、R-SSNおよび確率的L-BFGSは、合成データおよび実データにおいて、反復回数およびウォールクロック時間の両面で1次順序法を上回る収束速度を示した。