[論文レビュー] Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral Algorithms

Junhong Lin, Volkan Cevher|arXiv (Cornell University)|Jan 22, 2018

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿は、再生核ヒルベルト空間（RKHS）上における非パラメトリック回帰における分散型確率的勾配法（SGM）およびスペクトル的手法の最適収束速度を確立する。分散型SGMが、分割数が大きすぎない場合、対数因子を除いて最適な一般化誤差境界を達成できることを示し、分散型KRRおよび標準SGMと比較して計算複雑性が向上している。

ABSTRACT

We study generalization properties of distributed algorithms in the setting of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We first investigate distributed stochastic gradient methods (SGM), with mini-batches and multi-passes over the data. We show that optimal generalization error bounds can be retained for distributed SGM provided that the partition level is not too large. We then extend our results to spectral-regularization algorithms (SRA), including kernel ridge regression (KRR), kernel principal component analysis, and gradient methods. Our results are superior to the state-of-the-art theory. Particularly, our results show that distributed SGM has a smaller theoretical computational complexity, compared with distributed KRR and classic SGM. Moreover, even for non-distributed SRA, they provide the first optimal, capacity-dependent convergence rates, considering the case that the regression function may not be in the RKHS.

研究の動機と目的

• 再生核ヒルベルト空間（RKHS）を用いた非パラメトリック回帰における分散学習アルゴリズムの一般化性能を分析すること。
• ミニバッチおよびマルチパスを用いた分散型確率的勾配法（SGM）が、最適収束速度を維持できるかどうかを調査すること。
• 分散環境下におけるスペクトル的手法（例：カーネルリッジ回帰、カーネルPCA）に対しても理論的保証を拡張すること。
• 分散型SGMが分散型KRRおよび標準SGMと比較してより優れた計算複雑性を達成できることを示すこと。
• 真の回帰関数がRKHSに属さない場合でさえも、能力依存の最適収束速度を初めて導出すること。

提案手法

• データセットをm個のサブセットに分割し、各サブセットで独立にSGMを学習し、局所モデルを平均化する分散型SGMフレームワークを提案する。
• 近似誤差、推定誤差、計算分散誤差に分解することで一般化誤差を分析する。
• 新たな誤差分解と集中不等式を用いて計算分散項を評価し、それには補題10、15、19、20に依存する。
• 早期停止とステップサイズスケジューリングによる正則化を適用し、$ ilde{ ho} = N^{-1/(2 heta+ ho)}$ および $ heta \in [0,1]$ を用いる。
• 演算子 $ackslashackslashmathcal{S}ackslash ext{ extunderscore} ackslash ext{ extrho}$ と経験的共分散演算子を用いてRKHSノルムにおける期待誤差の境界を導出する。
• 先行研究の理論的結果（例：Lin and Rosasco, 2017b）と新しい集中不等式を組み合わせることで、最適な収束率を達成する。

実験結果

リサーチクエスチョン

• RQ1 分散型SGMは、非パラメトリック回帰におけるRKHS上でも、対数因子を除いて最適な一般化誤差境界を維持できるか？
• RQ2 分割数 $m$ が分散型SGMの収束速度にどのように影響するか？
• RQ3 分散型SGMの計算複雑性は、分散型KRRおよび標準SGMと比較してどうなるか？
• RQ4 真の回帰関数がRKHSに属さない場合でも、スペクトル的手法が最適で能力依存の収束速度を達成できるか？
• RQ5 ステップサイズスケジューリングおよびミニバッチサイズが、分散型SGMにおける最適収束を達成するために果たす役割は何か？

主な発見

• 分割数 $m$ が大きすぎない場合、分散型SGMは対数因子を除いて最適な一般化誤差境界を達成する。
• 分散型SGMの計算複雑性は、空間で $O(N)$、時間で $O(N^{3/2})$ であり、標準SGMの $O(N^2)$ より優れており、分散型KRRの空間複雑性 $O(N^{3/2})$ よりも優れている。
• 回帰関数がRKHSに属さない場合でも、本稿はスペクトル的手法に対して、初めての能力依存の最適収束速度を提供する。
• 分散型SGMの誤差境界は $\mathbb{E}\|\mathcal{S}_\rho(\bar{f}_{t+1} - \bar{g}_{t+1})\|_\rho^2 \leq C_9 M^2 (1 \vee [\gamma(\theta^{-1} \wedge \log n)]) \frac{\eta}{mb} \left( \tilde{\lambda}\eta t + \log t \right)$ であり、$C_9$ は明示的に定義されている。
• $m=1$ の場合、この手法は標準SGMに還元され、適切なパrameter選択のもとで既知の最適収束率と一致する。
• 理論的枠組みは、マルチパスSGMおよびスペクトル的手法（カーネルリッジ回帰およびカーネルPCAを含む）を統一的に分析することを可能にする。