[論文レビュー] Optimal Rates for Learning with Nyström Stochastic Gradient Methods

Junhong Lin, Lorenzo Rosasco|arXiv (Cornell University)|Oct 21, 2017

Stochastic Gradient Optimization Techniques参考文献 29被引用数 3

ひとこと要約

本稿では、非パラメトリック回帰のための新しいアルゴリズムであるNyström確率的勾配法（NySGM）を提案する。この手法は、確率的勾配降下法とNyström低ランク近似を組み合わせたもので、ミニバッチと適応的ステップサイズを活用することで、計算コストを削減しながら最適な学習率を達成する。O(n^{1.5})の時間計算量とO(n^{1.5})の記憶容量を実現し、標準的なNyström KRRのO(n^2)と比較して計算コストを大幅に低減する。一方で、最先端の手法と同等の統計的性能を達成する。

ABSTRACT

In the setting of nonparametric regression, we propose and study a combination of stochastic gradient methods with Nyström subsampling, allowing multiple passes over the data and mini-batches. Generalization error bounds for the studied algorithm are provided. Particularly, optimal learning rates are derived considering different possible choices of the step-size, the mini-batch size, the number of iterations/passes, and the subsampling level. In comparison with state-of-the-art algorithms such as the classic stochastic gradient methods and kernel ridge regression with Nyström, the studied algorithm has advantages on the computational complexity, while achieving the same optimal learning rates. Moreover, our results indicate that using mini-batches can reduce the total computational cost while achieving the same optimal statistical results.

研究の動機と目的

• 計算コストを低減しつつ最適な統計的レートを維持する非パラメトリック回帰のためのスケーラブルな学習アルゴリズムの開発。
• 完全なカーネル行列の計算を回避するため、Nyström低ランク近似を確率的勾配法と統合する。
• さまざまなパrameter選択の下で一般化誤差を解析し、最適な収束レートを導出する。
• ミニバッチの使用が、統計的性能を損なわずに総合的な計算コストを削減できることを示す。
• 集中不等式、作用素論、凸解析を用いて理論的保証を提供する。

提案手法

• アルゴリズムは、訓練データから一様にランダムに抽出されたミニバッチを用いた確率的勾配更新を用いる。
• 各反復で、代表点のサブセットを用いて近似されたNyströmカーネル行列によって定義される部分空間に解を射影する。
• 収束性と安定性のバランスを図るため、時間に依存するステップサイズ η_t = η_1 t^{-θ}（θ ∈ [0,1)）を採用する。
• サブサンプリングレベル、反復回数、ステップサイズ、ミニバッチサイズを統合的に最適化することで、最適な学習レートを達成する。
• 理論的解析には、集中不等式、作用素ノルム、再生核ヒルベルト空間（RKHS）の性質を用いる。
• 固定設計および確率的設計の両設定下で解析を行い、一般化誤差の誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 Nyström低ランク近似を用いた確率的勾配法は、非パラメトリック回帰において最適な学習レートを達成できるか？
• RQ2 ステップサイズ、ミニバッチサイズ、反復回数、サブサンプリングレベルの選択が一般化誤差に与える影響は何か？
• RQ3 Nyströmに基づくSGDにおけるミニバッチの使用は、総合的な計算コストを削減しつつも、最適な統計的性能を維持できるか？
• RQ4 提案手法は、はるかに低い計算複雑性で、カーネルリッジ回帰の最適誤差バウンドに達することができるか？
• RQ5 集中不等式および作用素論を用いて、一般化誤差に対してどのような理論的保証を確立できるか？

主な発見

• NySGMは、問題にやわらかい仮定を課さない状態でも、データを1回走査した後で最適な学習レートO(n^{-0.5})を達成する。
• アルゴリズムはO(n^{1.5})の時間計算量とO(n^{1.5})の記憶容量を要し、標準的なNyström KRRのO(n^2)と比べて顕著に計算コストを低減する。
• ミニバッチの使用により、総合的な計算コストを削減しつつも、同じ最適な統計的結果を達成でき、これは古典的SGMとは逆説的な利点である。
• 理論的誤差バウンドは、高確率でO((ηt)^{-(2ζ+1)}) + O(n^{-(2ζ+1)/(2ζ+γ+1)})（ζ ≤ 1/2）として導出される。
• 代表点に近似リービングスコアサンプリングを用いる場合、サブサンプリングレベルm ≳ n^{γ/(2ζ+γ+1)} log nの下で、弱い条件下でも最適なレートを維持する。
• ステップサイズの交差検証によるチューニングにより、高確率で最適レートの対数因子以内の誤差バウンドが達成される。