[논문 리뷰] Optimal Rates for Learning with Nyström Stochastic Gradient Methods

Junhong Lin, Lorenzo Rosasco|arXiv (Cornell University)|2017. 10. 21.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 3

한 줄 요약

이 논문은 비모수 회귀를 위한 새로운 알고리즘인 Nyström 확률적 경사 하강법(Nyström Stochastic Gradient Methods, NySGM)을 제안한다. 이 알고리즘은 확률적 경사 하강법과 Nyström 하향 샘플링을 결합하여, 미니배치와 적응형 단계 크기를 활용함으로써 계산 비용을 줄이고 최적의 학습률을 달성한다. 기존의 Nyström KRR에 비해 시간 복잡도 O(n^{1.5}) 및 메모리 복잡도 O(n^{1.5})를 확보하면서도, 최신 기법의 통계적 성능을 유지한다.

ABSTRACT

In the setting of nonparametric regression, we propose and study a combination of stochastic gradient methods with Nyström subsampling, allowing multiple passes over the data and mini-batches. Generalization error bounds for the studied algorithm are provided. Particularly, optimal learning rates are derived considering different possible choices of the step-size, the mini-batch size, the number of iterations/passes, and the subsampling level. In comparison with state-of-the-art algorithms such as the classic stochastic gradient methods and kernel ridge regression with Nyström, the studied algorithm has advantages on the computational complexity, while achieving the same optimal learning rates. Moreover, our results indicate that using mini-batches can reduce the total computational cost while achieving the same optimal statistical results.

연구 동기 및 목표

• 비모수 회귀를 위한 확장 가능한 학습 알고리즘을 개발하여, 최적의 통계적 속도를 유지하면서 계산 비용을 줄이는 것.
• 완전한 커널 행렬 계산을 피하기 위해 Nyström 하향 샘플링을 확률적 경사 하강 방법과 통합하는 것.
• 다양한 매개변수 설정 하에서 일반화 오차를 분석하고 최적의 수렴 속도를 도출하는 것.
• 미니배치 사용이 통계적 성능을 훼손하지 않으면서 총 계산 비용을 줄일 수 있는지 보여주는 것.
• 집중 부등식, 선형 연산자 이론, 볼록 해석을 활용한 이론적 보장을 제공하는 것.

제안 방법

• 알고리즘은 훈련 데이터에서 균일하게 무작위로 선택된 미니배치를 사용하여 확률적 경사 업데이트를 수행한다.
• 각 반복 단계에서, 랜드마크 점들의 부분 집합을 사용하여 근사된 커널 행렬로 정의된 부분공간으로 해를 투영한다.
• 수렴성과 안정성의 균형을 맞추기 위해 시간에 따라 변하는 단계 크기 η_t = η_1 t^{-θ} (θ ∈ [0,1))를 사용한다.
• 하향 샘플링 수준, 반복 횟수, 단계 크기, 미니배치 크기를 함께 최적화하여 최적의 학습률을 달성한다.
• 이론적 분석은 집중 부등식, 선형 연산자 노름, 및 재생 커널 힐버트 공간(RKHS)의 성질에 기반한다.
• 고정 설계 및 랜덤 설계 설정 모두에서 분석을 수행하며, 일반화 오차에 대한 오차 한계를 유도한다.

실험 결과

연구 질문

• RQ1 Nyström 하향 샘플링을 적용한 확률적 경사 하강법가 비모수 회귀에서 최적의 학습률을 달성할 수 있는가?
• RQ2 단계 크기, 미니배치 크기, 반복 횟수, 하향 샘플링 수준의 선택이 일반화 오차에 어떤 영향을 미치는가?
• RQ3 Nyström 기반 SGD에서 미니배치 사용이 총 계산 비용을 줄이면서도 최적의 통계적 성능을 유지할 수 있는가?
• RQ4 제안된 알고리즘이 훨씬 낮은 계산 복잡도로 커널 리지 회귀의 최적 오차 한계를 달성할 수 있는가?
• RQ5 집중 부등식과 선형 연산자 이론을 활용해 일반화 오차에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• NySGM는 문제에 대한 유리한 가정 없이도 데이터 한 번 순회 후 최적의 학습률 O(n^{-0.5})를 달성한다.
• 알고리즘은 O(n^{1.5})의 시간과 O(n^{1.5})의 메모리 복잡도를 요구하여, 기존의 표준 Nyström KRR의 O(n^2) 비용에 비해 크게 감소한다.
• 미니배치 사용은 동일한 최적의 통계적 결과를 유지하면서 총 계산 비용을 줄이며, 기존의 SGM에 비해 놀라운 이점이다.
• 이론적 오차 한계는 ζ ≤ 1/2일 때 O((ηt)^{-(2ζ+1)}) + O(n^{-(2ζ+1)/(2ζ+γ+1)})로 유도되며, 높은 확률로 성립한다.
• 랜드마크 점에 대해 약간의 리커버리 스코어 샘플링을 사용할 경우, 하향 샘플링 수준 m ≳ n^{γ/(2ζ+γ+1)} log n 이라는 온건한 조건 하에서 최적의 수렴 속도를 유지한다.
• 단계 크기의 교차 검증 튜닝을 통해 높은 확률로 최적의 속도에 로그 인자 범위 내 오차 한계를 달성할 수 있다.