[論文レビュー] An inexact subsampled proximal Newton-type method for large-scale machine learning

Xuanqing Liu, Cho‐Jui Hsieh+2 more|arXiv (Cornell University)|Aug 28, 2017

Sparse and Compressive Sensing Techniques参考文献 8被引用数 11

ひとこと要約

本稿では、大規模な正則化付き有限和最適化のための不正確な部分サンプリングプロキシマルニュートン型手法を提案する。この手法は、部分サンプリングされたヘッセ行列近似と加速された確率的勾配型手法を組み合わせ、部分問題を効率的に解く。この方法は、$\tilde{\mathcal{O}}(d(n + \sqrt{\kappa d})\log(1/\epsilon))$ FLOPSの複雑さを達成し、滑らかさのある正則化子に対してLiSSAと同等の効率性を示し、$n > d$ の場合に加速された勾配型手法を上回る。非滑らか正則化子（例：$\ell_1$）もサポートする。

ABSTRACT

We propose a fast proximal Newton-type algorithm for minimizing regularized finite sums that returns an $ε$-suboptimal point in $ ilde{\mathcal{O}}(d(n + \sqrt{κd})\log(\frac{1}ε))$ FLOPS, where $n$ is number of samples, $d$ is feature dimension, and $κ$ is the condition number. As long as $n > d$, the proposed method is more efficient than state-of-the-art accelerated stochastic first-order methods for non-smooth regularizers which requires $ ilde{\mathcal{O}}(d(n + \sqrt{κn})\log(\frac{1}ε))$ FLOPS. The key idea is to form the subsampled Newton subproblem in a way that preserves the finite sum structure of the objective, thereby allowing us to leverage recent developments in stochastic first-order methods to solve the subproblem. Experimental results verify that the proposed algorithm outperforms previous algorithms for $\ell_1$-regularized logistic regression on real datasets.

研究の動機と目的

• 正確なプロキシマルニュートン法の計算非効率性を是正し、ヘッセ行列の近似を効率的に行えるようにする。
• 滑らかでない正則化子（例：$\ell_1$）に対しても、2次型手法を拡張し、高速収束レートを維持する。
• 最新の確率的勾長型手法およびLiSSAと同等の計算複雑度を達成し、特にサンプル数$n$が次元$d$を上回る場合に優位性を発揮する。
• 滑らかな目的関数部の有限和構造を部分サンプリングされたヘッセ行列近似により保ち、バリアンス低減型勾長型ソルバーによる効率的かつ部分問題の解法を可能にする。

提案手法

• 部分サンプリングされたヘッセ行列$B_t$をレバレッジスコアサンプリングにより近似することで、計算コストを削減する。
• 現在の反復点$w_t$の周囲で滑らかな部分$f(w)$の二次近似を構築し、勾配、ヘッセ行列近似、正則化子$R(w)$を組み合わせた部分問題を導出する。
• Catalyst加速付きSVRGを用いて部分問題を近似的に解き、収束を保証するため、勾配残差$\|r_t\|_{B_t}^*$が$\theta_t \|v_t\|_{B_t}$で有界であることを保証する。
• 2段階の段階で理論的条件に基づく適応的ステップサイズを採用：段階Iはグローバル収束、段階IIは局所的超線形収束。
• 滑らかな成分の有限和構造を活かし、ヘッセ行列計算のみを部分サンプリングすることで、バリアンス低減型勾長型ソルバーの効率的利用を可能にする。
• 部分問題の精度を制御し、相対的残差ノルムに基づく停止条件を用いることで、理論的収束保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 部分サンプリングされたヘッセ行列を用いることで、非滑らか正則化子を伴う大規模機械学習問題にスケーラブルなプロキシマルニュートン型手法を構築できるか？
• RQ2 部分サンプリングされたヘッセ行列近似と、部分問題の解法に加速された勾長型手法を組み合わせることで、最新の確率的勾長型手法を上回る計算複雑度を達成できるか？
• RQ3 このような手法の理論的FLOP複雑度は何か？標準仮定下でLiSSAおよび加速された勾長型手法と比較するとどうなるか？
• RQ4 実世界のデータセット（特に$\ell_1$正則化付きロジスティック回帰）において、$n > d$ の場合に実際の性能はどのようになるか？
• RQ5 内側反復回数などのハイパーパrameterの選択に頑健でありながら、優れた収束速度を維持できるか？

主な発見

• 提案手法は理論的複雑度として$\tilde{\mathcal{O}}(d(n + \sqrt{\kappa d})\log(1/\epsilon))$ FLOPSを達成し、滑らか正則化子に対してLiSSAと同等の効率性を示し、$n > d$ の場合に加速された勾長型手法を上回る。
• CovtypeおよびMNISTデータセットにおいて、LIBLINEAR、SVRG、SAGAよりも実行時間が短く、特に$\lambda = 10^{-3}$の大きな正則化条件下では近似超線形収束を示す。
• 内側反復回数の選択に対して頑健であり、$\texttt{inner} = 2$から$6$の範囲で性能が安定している。ただし、$\texttt{inner} = 1$では部分問題の精度が不十分なため、著しく性能が劣る。
• Realsimデータセットでは、$\lambda$が大きい場合にはLIBLINEARと同等の性能を示すが、スパarsityの活用がないため全体的に遅く、一般性とデータ固有最適化のトレードオフを示している。
• $\lambda$が大きくなると収束速度が著しく向上する。これは、ゼロ初期化からスパース解に早く到達するためであり、先行研究の観察と整合的である。
• 実験結果は、本手法が理論的複雑度の優位性を達成するだけでなく、実世界のデータセットでも優れた実用的性能を示しており、その効率性と頑健性を裏付けている。