[논문 리뷰] Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral Algorithms

Junhong Lin, Volkan Cevher|arXiv (Cornell University)|2018. 01. 22.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 비모수적 회귀의 분산 확률적 경사 하강법(SGM) 및 스펙트럼 알고리즘에 대해 최적 수렴 속도를 확립한다. 분산 SGM이 분할 수가 너무 크지 않을 경우 로그 인자까지 최적의 일반화 오차 한계를 달성함을 보이며, 분산 KRR와 표준 SGM에 비해 향상된 계산 복잡도를 가진다.

ABSTRACT

We study generalization properties of distributed algorithms in the setting of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We first investigate distributed stochastic gradient methods (SGM), with mini-batches and multi-passes over the data. We show that optimal generalization error bounds can be retained for distributed SGM provided that the partition level is not too large. We then extend our results to spectral-regularization algorithms (SRA), including kernel ridge regression (KRR), kernel principal component analysis, and gradient methods. Our results are superior to the state-of-the-art theory. Particularly, our results show that distributed SGM has a smaller theoretical computational complexity, compared with distributed KRR and classic SGM. Moreover, even for non-distributed SRA, they provide the first optimal, capacity-dependent convergence rates, considering the case that the regression function may not be in the RKHS.

연구 동기 및 목표

• 재생 커널 힐버트 공간(RKHS)을 사용한 비모수적 회귀에서 분산 학습 알고리즘의 일반화 성능을 분석하는 것.
• 미니배치 및 다중패assing을 적용한 분산 확률적 경사 하강법(SGM)이 최적 수렴 속도를 유지할 수 있는지 조사하는 것.
• 분산 환경에서 스펙트럼 알고리즘(예: 커널 리지 회귀, 커널 주성분 분석)의 이론적 보장을 확장하는 것.
• 분산 SGM이 분산 KRR와 표준 SGM에 비해 더 낮은 계산 복잡도를 가지는지 보여주는 것.
• 진짜 회귀 함수가 RKHS에 속해 있지 않은 경우에도 스펙트럼 알고리즘에 대해 최초로 용량 기반 최적 수렴 속도를 유도하는 것.

제안 방법

• 데이터셋을 m개의 부분집합으로 분할하고, 각 부분집합에서 독립적으로 SGM을 학습한 후 국소 모델을 평균화하는 분산 SGM 프레임워크를 제안한다.
• 근사 오차, 추정 오차, 계산 변동 오차로 분해하여 일반화 오차를 분석한다.
• 새로운 오차 분해와 농도 불등식을 사용하여 계산 변동 항을 유계로 제한하며, 이는 레미마 10, 15, 19, 20에 기반한다.
• 조기 정규화와 단계 크기 스케줄링을 적용하며, $ ilde{ ho} = N^{-1/(2 heta+ ho)}$ 및 $ heta \in [0,1]$이다.
• 연산자 $ olimits\mathcal{S}_\rho$와 경험 공분산 연산자를 사용하여 RKHS 노름에서 기대 오차에 대한 유계를 도출한다.
• 이전 연구 결과(예: Lin and Rosasco, 2017b)와 새로운 농도 유계를 조합하여 최적 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 분산 SGM은 RKHS에서 비모수적 회귀에서 로그 인자까지 최적의 일반화 오차 한계를 유지할 수 있는가?
• RQ2 분할 수 $m$이 분산 SGM의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 분산 SGM의 계산 복잡도는 분산 KRR와 표준 SGM에 비해 어떻게 되는가?
• RQ4 진짜 회귀 함수가 RKHS에 속해 있지 않은 경우에도 스펙트럼 알고리즘이 최적의 용량 기반 수렴 속도를 달성할 수 있는가?
• RQ5 단계 크기 스케줄링과 미니배치 크기가 분산 SGM에서 최적 수렴을 달성하는 데 어떤 역할을 하는가?

주요 결과

• 분할 수 $m$이 너무 크지 않은 경우 분산 SGM은 로그 인자까지 최적의 일반화 오차 한계를 달성한다.
• 분산 SGM의 계산 복잡도는 공간에서 $O(N)$, 시간에서 $O(N^{3/2})$이며, 표준 SGM의 $O(N^2)$와 비교해 우수하고, 분산 KRR의 공간 복잡도 $O(N^{3/2})$보다도 낮다.
• 회귀 함수가 RKHS에 속해 있지 않은 경우, 본 논문은 스펙트럼 알고리즘에 대해 최초로 최적의 용량 기반 수렴 속도를 제공한다.
• 분산 SGM의 오차 한계는 $\mathbb{E}\|\mathcal{S}_\rho(\bar{f}_{t+1} - \bar{g}_{t+1})\|_\rho^2 \leq C_9 M^2 (1 \vee [\gamma(\theta^{-1} \wedge \log n)]) \frac{\eta}{mb} \left( \tilde{\lambda}\eta t + \log t \right)$이며, $C_9$는 명시적으로 정의되어 있다.
• When $m=1$, the method reduces to standard SGM, and the convergence rate matches known optimal rates under appropriate parameter choices.
• 이론적 프레임워크는 다중패assing SGM과 스펙트럼 알고리즘(커널 리지 회귀 및 커널 주성분 분석 포함)을 통합된 분석으로 지원한다.