[論文レビュー] Convergence rates of sub-sampled Newton methods

Murat A. Erdogdu, Andrea Montanari|arXiv (Cornell University)|Aug 12, 2015

Sparse and Compressive Sensing Techniques参考文献 40被引用数 60

ひとこと要約

本稿では、固有値しきい値処理とランダムサンプリングを組み合わせることで、最小値近傍で2次収束、後期段階で線形収束を達成する部分サンプルニュートン法NewSampを提案する。1回の反復コストはO(np + |S|p²)であり、ステップサイズのチューニングが不要で、ヘッセ行列の条件数の代わりにより穏やかなスペクトル比（λ*_{r+1}/λ*_{p}）を用いることで、ロバストな性能を実現する。

ABSTRACT

We consider the problem of minimizing a sum of $n$ functions over a convex parameter set $\mathcal{C} \subset \mathbb{R}^p$ where $n\gg p\gg 1$. In this regime, algorithms which utilize sub-sampling techniques are known to be effective. In this paper, we use sub-sampling techniques together with low-rank approximation to design a new randomized batch algorithm which possesses comparable convergence rate to Newton's method, yet has much smaller per-iteration cost. The proposed algorithm is robust in terms of starting point and step size, and enjoys a composite convergence rate, namely, quadratic convergence at start and linear convergence when the iterate is close to the minimizer. We develop its theoretical analysis which also allows us to select near-optimal algorithm parameters. Our theoretical results can be used to obtain convergence rates of previously proposed sub-sampling based algorithms as well. We demonstrate how our results apply to well-known machine learning problems. Lastly, we evaluate the performance of our algorithm on several datasets under various scenarios.

研究の動機と目的

• n ≫ p である大規模機械学習においてニュートン法の高い1回あたりコストを解消する。
• 平坦（低曲率）な方向における部分サンプルヘッセ近似の不安定性を、固有値しきい値処理により克服する。
• 第二階層の収束特性を維持しながら計算コストを削減するランダムバッチアルゴリズムを設計する。
• 部分サンプリングスキームの理論的収束レートを確立し、最適なパrameter選択の指針を提供する。
• 実データセット上での有効性を実証し、既存の最適化アルゴリズムと比較する。

提案手法

• 部分サンプリングを用いて、データポイントの小さい集合Sでヘッセ行列を近似し、1回あたりのコストをO(np + |S|p²)に削減する。
• 固有値しきい値処理を適用：r番目の固有値以下のすべての固有値を(r+1)番目の固有値と等しくする。これにより、平坦な方向におけるヘッセ行列近似が安定化される。
• スケーリング行列Q^tを低ランク切断による正則化逆ヘッセ行列近似として構築し、数値的安定性を確保する。
• 固定ステップサイズη_t = 1を用いることで、ラインサーチやチューニングの必要性を排除する。
• 凸集合C ⊂ ℝ^p上での射影ニュートン反復に部分サンプルヘッセ行列を統合する。
• ランダム行列理論と集中不等式（例：行列チェルノフバウンド）を用いて、ヘッセ行列近似誤差の確率的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 部分サンプルヘッセ行列近似は、初期段階（2次収束）と後期段階（線形収束）の両方で信頼できる収束を達成するために安定化可能か？
• RQ2 固有値しきい値処理を施した部分サンプルニュートン法の理論的収束レートは何か？
• RQ3 部分サンプルサイズ|S|と切断ランクrの選択は、収束性とロバスト性にどのように影響するか？
• RQ4 ラインサーチやステップサイズチューニングなしで2次収束を達成できるか？
• RQ5 ヘッセ行列の条件数は収束にどのように影響するか？スペクトル切断によりこれを緩和できるか？

主な発見

• NewSampは、最小値近傍で2次収束、後期段階で線形収束を達成する合成収束率を実現し、収束係数に明確なバウンドを付与する。
• 漸近的線形収束係数はlim_{t→∞} ξ₁^t = 1 - (λ*_{p}/λ*_{r+1}) + δ（δは小さい）を満たし、悪条件な(λ*₁/λ*_{p})の代わりに、より良好な条件数を持つ(λ*_{r+1}/λ*_{p})が用いられる。
• 初期条件やステップサイズに強く、ラインサーチを伴わずη_t = 1で収束を達成する。
• 1回あたりのコストはO(np + |S|p²)であり、ニュートン法のO(np² + p³)と比べて顕著に低く、特に|S| ≪ nのとき顕著に効果を発揮する。
• 理論的分析により、パrameter調整によって、以前に提案された部分サンプリングアルゴリズムの収束レートを導出可能である。
• 4つのデータセットにおける実験的評価では、NewSampは標準的勾配降下法や準ニュートン法を上回る収束速度とロバスト性を示した。