[論文レビュー] Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral-Regularization Algorithms

Junhong Lin, Volkan Cevher|arXiv (Cornell University)|Jan 22, 2018

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本論文は、再生核ヒルバート空間（RKHS）上における非パラメトリック回帰において、分散型確率的勾配法（SGM）およびスペクトル正則化アルゴリズム（SRA）の最適一般化誤差バウンドを確立する。分散型SGMは、データ分割があまり細かくない限り最適収束速度を維持することを示し、真の回帰関数がRKHSに属さない場合でも、非分散型SRAに対して、初めて容量依存の最適収束速度を提供する。これは、計算複雑性と理論的保証の両面で先行研究を上回る。

ABSTRACT

We study generalization properties of distributed algorithms in the setting of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We first investigate distributed stochastic gradient methods (SGM), with mini-batches and multi-passes over the data. We show that optimal generalization error bounds can be retained for distributed SGM provided that the partition level is not too large. We then extend our results to spectral-regularization algorithms (SRA), including kernel ridge regression (KRR), kernel principal component analysis, and gradient methods. Our results are superior to the state-of-the-art theory. Particularly, our results show that distributed SGM has a smaller theoretical computational complexity, compared with distributed KRR and classic SGM. Moreover, even for non-distributed SRA, they provide the first optimal, capacity-dependent convergence rates, considering the case that the regression function may not be in the RKHS.

研究の動機と目的

• 非パラメトリック回帰におけるRKHS上での分散学習アルゴリズムの一般化特性を分析すること。
• データ分割下での分散型確率的勾配法（SGM）の最適収束速度を確立すること。
• KRRおよびカーネルPCAを含むスペクトル正則化アルゴリズム（SRA）への最適収束結果の拡張。
• 真の回帰関数がRKHSに属さない場合でも、非分散型SRAに対して、初めて容量依存の最適収束速度を提供すること。
• 分散型SGMが分散型KRRおよび古典的SGMよりも理論的計算複雑性が低いことを示すこと。

提案手法

• 非パラメトリック回帰を再生核ヒルバート空間（RKHS）の枠組み内で分析する。
• 分割サイズを制御した条件下で、ミニバッチおよび複数回のパスを用いたデータパーティション上の分散型SGMを分析する。
• カーネルリッジ回帰（KRR）、カーネルPCA、勾配法を含むスペクトル正則化アルゴリズム（SRA）を、スペクトルの減衰仮定を用いて研究する。
• 分散設定に特化した作用素論的技術および集中不等式を用いて理論的バウンドを導出する。
• 主な技術的貢献として、真の回帰関数の滑らかさがRKHSに対して相対的に与える影響に依存する容量依存収束速度の導出。
• 分散設定における通信コストと統計的精度のトレードオフを分析に組み込む。

実験結果

リサーチクエスチョン

• RQ1 データ分割下でも、分散型確率的勾配法（SGM）は最適一般化誤差バウンドを維持できるか？
• RQ2 パーティションサイズは、RKHS回帰における分散型SGMの収束速度にどのように影響するか？
• RQ3 真の関数がRKHSに属さない場合でも、スペクトル正則化アルゴリズムは最適で容量依存の収束速度を達成できるか？
• RQ4 分散型SGMの理論的計算複雑性は、分散型KRRおよび古典的SGMと比べてどうなるか？
• RQ5 提案手法は、既存の最先端理論と比較して、よりタイトまたはより一般的な収束バウンドを達成できるか？

主な発見

• 分散型SGMは、データ分割レベルがあまり大きくない限り、最適一般化誤差バウンドを達成し、統計的効率性を保つ。
• 分散型SGMの理論的計算複雑性は、分散型KRRおよび古典的SGMよりも低く、スケーラビリティに優れる。
• 非分散型SRAに対して、真の回帰関数がRKHSに属さない場合でも、本研究は初めて最適で容量依存の収束速度を確立した。
• 本研究の結果は、RKHS設定における分散および非分散SRAの理論的保証において、最先端を著しく上回る。
• KRRおよびカーネルPCAを含むスペクトル正則化アルゴリズムは、提案された分析枠組みのもとで、同じ最適収束フレームワークの恩恵を受ける。
• 分析により、スペクトルの減衰とパーティションサイズの相互作用が、分散アルゴリズムの収束行動にきわめて重要な影響を与えることが明らかになった。