[논문 리뷰] Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral-Regularization Algorithms

Junhong Lin, Volkan Cevher|arXiv (Cornell University)|2018. 01. 22.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 비모수적 회귀에 대해 분산 확률적 경사 하강법(SGM)과 스펙트럼 정규화 알고리즘(SRA)의 최적 일반화 오차 경계를 수립한다. 데이터 분할 수준이 너무 높지 않은 한 분산 SGM이 최적 수렴 속도를 유지함을 보이며, 진짜 회귀 함수가 RKHS 외부에 있을 경우에도 비분산 SRA에 대해 최초로 용량에 의존하는 최적 수렴 속도를 제공한다. 이는 계산 복잡도와 이론적 보장 면에서 이전 이론을 능가한다.

ABSTRACT

We study generalization properties of distributed algorithms in the setting of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We first investigate distributed stochastic gradient methods (SGM), with mini-batches and multi-passes over the data. We show that optimal generalization error bounds can be retained for distributed SGM provided that the partition level is not too large. We then extend our results to spectral-regularization algorithms (SRA), including kernel ridge regression (KRR), kernel principal component analysis, and gradient methods. Our results are superior to the state-of-the-art theory. Particularly, our results show that distributed SGM has a smaller theoretical computational complexity, compared with distributed KRR and classic SGM. Moreover, even for non-distributed SRA, they provide the first optimal, capacity-dependent convergence rates, considering the case that the regression function may not be in the RKHS.

연구 동기 및 목표

• 비모수적 회귀에서 재생 커널 힐버트 공간(RKHS)에 대해 분산 학습 알고리즘의 일반화 성질을 분석하는 것.
• 데이터 분할 조건 하에서 분산 확률적 경사 하강법(SGM)의 최적 수렴 속도를 수립하는 것.
• 커널 리지 회귀(KRR)와 커널 주성분 분석(PCA)을 포함한 스펙트럼 정규화 알고리즘(SRA)으로 최적 수렴 결과를 확장하는 것.
• 진짜 회귀 함수가 RKHS에 속하지 않을 경우에도 비분산 SRA에 대해 최초로 용량에 의존하는 최적 수렴 속도를 제공하는 것.
• 분산 SGM이 분산 KRR와 고전적 SGM에 비해 더 낮은 이론적 계산 복잡도를 달성함을 보여주는 것.

제안 방법

• 비모수적 회귀의 프레임워크 내에서 재생 커널 힐버트 공간(RKHS)을 기반으로 분석을 수행한다.
• 통제된 분할 크기 하에서 미니배치와 다중 에포크를 적용한 분산 SGM을 분석한다.
• 커널 리지 회귀(KRR), 커널 PCA, 경사 하강법을 포함한 스펙트럼 정규화 알고리즘(SRA)을 스펙트럼 감쇠 가정 하에 연구한다.
• 분산 환경에 맞춘 연산자 이론 기반 기법과 농도 부등식을 사용해 이론적 경계를 유도한다.
• 핵심 기여 중 하나는 진짜 회귀 함수의 부드러움이 RKHS와의 관계에 따라 달라지는 용량에 의존하는 수렴 속도를 유도한 것이다.
• 분산 환경에서의 통신 비용과 통계 정확도 사이의 상호 작용을 고려한다.

실험 결과

연구 질문

• RQ1 데이터 분할 조건 하에서 분산 확률적 경사 하강법(SGM)이 최적 일반화 오차 경계를 유지할 수 있는가?
• RQ2 분할 크기가 RKHS 회귀에서 분산 SGM의 수렴 속도에 미치는 영향은 무엇인가?
• RQ3 진짜 함수가 RKHS에 속하지 않을 경우 스펙트럼 정규화 알고리즘(SRA)이 최적의 용량에 의존하는 수렴 속도를 달성할 수 있는가?
• RQ4 분산 SGM의 이론적 계산 복잡도는 분산 KRR와 고전적 SGM에 비해 어떻게 되는가?
• RQ5 제안된 방법이 기존 최신 기술에 비해 더 날카롭거나 더 일반적인 수렴 경계를 달성하는가?

주요 결과

• 데이터 분할 수준이 너무 크지 않은 한 분산 SGM이 최적 일반화 오차 경계를 달성하며 통계적 효율성을 유지한다.
• 분산 SGM의 이론적 계산 복잡도는 분산 KRR와 고전적 SGM보다 낮아 더 확장 가능하다.
• 비분산 SRA에 대해 진짜 회귀 함수가 RKHS에 속하지 않을 경우에도 최초로 최적의 용량에 의존하는 수렴 속도를 확립한다.
• 결과적으로 이론적 보장 면에서 분산 및 비분산 SRA의 RKHS 설정에서 최신 기술을 크게 향상시킨다.
• 커널 리지 회귀(KRR)와 커널 PCA를 포함한 스펙트럼 정규화 알고리즘은 제안된 분석 프레임워크 하에서 동일한 최적 수렴 프레임워크를 얻는다.
• 분석을 통해 스펙트럼 감쇠와 분할 크기 간의 상호 작용이 분산 알고리즘의 수렴 행동에 결정적인 영향을 미친다는 것이 드러났다.