[論文レビュー] Revisiting Sub-sampled Newton Methods

Haishan Ye, Luo Luo+1 more|arXiv (Cornell University)|Aug 8, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、サンプリングサイズを増加させることなく、悪条件なヘッセ行列に対しても超線形収束および2次収束を達成する2つの新しい部分サンプルニュートン法—精錬部分サンプルニュートン（ReSubNewton）および精錬スケッチニュートン（ReSkeNewton）—を提案する。これらの手法は、精錬されたヘッセ行列近似とスケッチ技術を活用し、従来の部分サンプルニュートン手法に比べて理論的収束性の向上と実験的効率性の向上を示している。

ABSTRACT

Many machine learning models depend on solving a large scale optimization problem. Recently, sub-sampled Newton methods have emerged to attract much attention for optimization due to their efficiency at each iteration, rectified a weakness in the ordinary Newton method of suffering a high cost at each iteration while commanding a high convergence rate. In this work we propose two new efficient Newton-type methods, Refined Sub-sampled Newton and Refined Sketch Newton. Our methods exhibit a great advantage over existing sub-sampled Newton methods, especially when Hessian-vector multiplication can be calculated efficiently. Specifically, the proposed methods are shown to converge superlinearly in general case and quadratically under a little stronger assumption. The proposed methods can be generalized to a unifying framework for the convergence proof of several existing sub-sampled Newton methods, revealing new convergence properties. Finally, we empirically evaluate the performance of our methods on several standard datasets and the results show consistent improvement in computational efficiency.

研究の動機と目的

• 部分サンプルニュートン法において、サンプリング複雑度を増加させずに超線形収束および2次収束を達成するという未解決問題に取り組む。
• 既存の部分サンプルニュートン法の収束特性を分析する包括的な理論的枠組みを構築する。
• ヘッセ行列に対するリプシッツ連続性条件が、特に非リプシッツ設定下で収束に必要かどうかを調査する。
• 悪条件なヘッセ行列を有する大規模機械学習最適化問題における計算効率および収束速度を向上させる。

提案手法

• 曲率推定の向上を目的として、精錬されたサンプリング戦略を用いたヘッセ行列近似を改善する、精錬部分サンプルニュートン（ReSubNewton）を提案する。
• 効率的なヘッセ行列近似を実現するため、改善された部分空間埋め込み保証を持つスケッチ技術を適用する、精錬スケッチニュートン（ReSkeNewton）を導入する。
• ヘッセ行列近似の誤差バウンドを精錬し、$ abla^2F(x^{(t)}) - H^{(t)}$ および $ orm{[H^{(t)}]^{-1}}$ を用いて、より弱い仮定の下でも収束を保証する。
• 収束速度を $ ho = orm{( abla^2F - H^{(t)})} orm{[H^{(t)}]^{-1}}$ を通じて制限する、主要定理（定理7）に基づく包括的な収束枠組みを確立する。
• 部分空間埋め込み理論を適用し、ヘッセ行列近似 $H^{(t)}$ が高確率で $(1- ho) abla^2F rianglelefteq H^{(t)} rianglelefteq (1+ ho) abla^2F$ を満たすことを保証する。
• 近似誤差をヘッセ行列およびその逆行列の両方で制御するため、$( ho rac{ au}{K})$-部分空間埋め込みを満たすスケッチ行列 $S$ を統合する。

実験結果

リサーチクエスチョン

• RQ1 部分サンプルニュートン法は、サンプル数を増加させずに超線形または2次収束を達成できるか？
• RQ2 さまざまな部分サンプルニュートン法の収束を分析する包括的な理論的枠組みは存在するか？
• RQ3 部分サンプルニュートン法の収束において、ヘッセ行列に対するリプシッツ連続性条件は必要か？
• RQ4 精錬されたヘッセ行列近似は、標準的な部分サンプルニュートン法と比較して、悪条件設定下での収束をどのように改善するか？

主な発見

• ReSubNewtonおよびReSkeNewtonは、一般の場合においてサンプリングサイズを増加させずに超線形収束を達成し、部分サンプルニュートン法における主要な未解決問題を解決した。
• やや強い仮定の下で、提案手法は2次収束を達成しており、これは部分サンプルニュートン法において初の結果である。
• $ ho < 1/2$ の場合、収束が確率 $(1- ho)^T$ で線形収束することを示し、$ ho \to 0$ となるに従い反復が進むにつれて超線形収束となる。
• 理論的分析により、収束速度は $ ho = orm{( abla^2F - H^{(t)})} orm{[H^{(t)}]^{-1}}$ に依存し、提案手法は精錬されたヘッセ行列推定によりこの比を小さく保っていることが明らかになった。
• 標準データセットを用いた実験的評価により、既存の部分サンプルニュートン手法に比べて一貫した計算効率の向上が確認された。
• この枠組みは、複数の既存の部分サンプルニュートン法の収束分析を統一し、リプシッツ条件下での線形〜2次収束率といった、新たな収束特性を明らかにした。