[논문 리뷰] Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model

Raphaël Berthier, Francis Bach외 1명|arXiv (Cornell University)|2020. 06. 15.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 출력이 변환된 입력의 결정론적 선형 함수인 노이즈 없는 선형 모델 하에서 확률적 경사 하강법(SGD)의 날카운 비모수 수렴 속도를 확립한다. 수렴 속도는 진짜 매개변수와 특징 매핑의 정규성 중 최소값에 따라 달라지며, 공분산 연산자의 거듭제곱 노름을 통해 다항식 감쇠 속도가 유도되며, 커널 회귀와 그래프 기반 평균화 과정으로까지 확장된다.

ABSTRACT

In the context of statistical supervised learning, the noiseless linear model assumes that there exists a deterministic linear relation $Y = \\langle \ heta_*, X \ angle$ between the random output $Y$ and the random feature vector $\\Phi(U)$, a potentially non-linear transformation of the inputs $U$. We analyze the convergence of single-pass, fixed step-size stochastic gradient descent on the least-square risk under this model. The convergence of the iterates to the optimum $\ heta_*$ and the decay of the generalization error follow polynomial convergence rates with exponents that both depend on the regularities of the optimum $\ heta_*$ and of the feature vectors $\\Phi(u)$. We interpret our result in the reproducing kernel Hilbert space framework. As a special case, we analyze an online algorithm for estimating a real function on the unit interval from the noiseless observation of its value at randomly sampled points; the convergence depends on the Sobolev smoothness of the function and of a chosen kernel. Finally, we apply our analysis beyond the supervised learning setting to obtain convergence rates for the averaging process (a.k.a. gossip algorithm) on a graph depending on its spectral dimension.

연구 동기 및 목표

• 노이즈 없는 선형 모델 하에서 Y = ⟨θ*, Φ(U)⟩ 이며 추가 노이즈가 없는 조건에서 최소 제곱 위험에 대한 단일 패assing, 고정 단계 크기 SGD의 수렴을 분석한다.
• 이 모델 하에서 수렴 속도에 대해 날카운 상한과 하한을 유도하여 비모수 영역에서의 최적성(tightness)을 확립한다.
• 특히 단위 초입방체에서의 함수 보간에 대해 재생 핵 힐버트 공간(RKHS) 프레임워크에서 결과를 해석한다.
• 감독 학습을 초월하여 그래프 상의 평균화 과정(gossip 알고리즘)으로 확장하여 수렴이 스펙트럼 차원과 연결됨을 밝힌다.
• 노이즈 없는 가정에서의 미세한 위반에 대한 SGD의 강건성(robustness)을 평가하여 점근적 오차가 최적의 일반화 오차의 상수 배수로 제한됨을 보인다.

제안 방법

• 공분산 연산자 Σ = E[X⊗X]의 거듭제곱 노름을 사용하여 최적 매개변수 θ*와 특징 벡터 X의 정규성을 정량화한다.
• 기대 제곱 오차 E[‖θn − θ*‖²]와 일반화 오차에 대한 상한과 하한을 도출하며, 일치하는 다항식 수렴 속도를 보인다.
• 핵심 기술 도구는 고정 단계 크기 하에서 SGD 반복의 재귀 분석으로, Σ의 스펙트럼 성질을 활용한다.
• 특징 매핑을 정규 양성 커널에 의해 유도된 것으로 간주함으로써 커널 회귀로 프레임워크를 확장하며, 수렴은 목표 함수와 커널의 소볼레프 정규성과 연결된다.
• 평균화 과정을 힐버트 공간 상의 i.i.d. 선형 연산자 곱으로 모델링함으로써 그래프 상의 고전적 알고리즘(gossip algorithm)에 결과를 적용한다.
• 노이즈 없는 모델을 미세한 추가 노이즈로 페르투르베이션하여 강건성을 분석하며, 점근적 일반화 오차가 최적 일반화 오차의 상수 배수로 제한됨을 보인다.

실험 결과

연구 질문

• RQ1 노이즈 없는 선형 모델 하에서 고정 단계 크기 SGD의 비모수 수렴 속도는 무엇이며, 진짜 매개변수와 특징 매핑의 정규성에 따라 어떻게 달라지는가?
• RQ2 이 모델 하에서 SGD의 수렴에 대해 날카운 상한과 하한을 확립할 수 있으며, 이로 인해 수렴 속도가 최적임을 보장할 수 있는가?
• RQ3 이러한 수렴 속도는 단위 초입방체에서 소볼레프 정규성을 갖는 함수를 보간하는 데 있어 커널 회귀로 어떻게 번역되는가?
• RQ4 동일한 이론적 프레임워크를 그래프 상의 분산 평균화 과정에 적용할 수 있으며, 스펙트럼 차원은 어떤 역할을 하는가?
• RQ5 노이즈 없는 가정이 약간 위반될 경우 SGD는 어떻게 행동하며, 점근적 일반화 오차에 어떤 영향을 미치는가?

주요 결과

• SGD의 수렴 속도는 다항식이며, 지수는 α* = min(1 − 1/β, (2δ − 1)/β)로 주어지며, 여기서 β는 특징 매핑의 정규성을 측정하고 δ는 진짜 매개변수 θ*의 정규성을 측정한다.
• 노이즈 없는 모델 하에서 재구성 오차 E[‖θn − θ*‖²]는 O(n^{−α*})로 감쇠하며, 상한과 하한이 일치하여 수렴 속도의 날카움(tightness)이 확인된다.
• 노이즈 없는 가정이 작은 추가 노이즈로 위반될 경우, SGD의 점근적 일반화 오차는 최적 일반화 오차의 상수 배수로 제한된다.
• 단위 초입방체에서의 커널 회귀에 대해, 수렴 속도는 목표 함수와 커널의 소볼레프 정규성에 따라 달라지며, 각각의 정규성 매개변수에 의해 결정된다.
• 그래프 상의 고전적 알고리즘(gossip 알고리즘)은 다항식 수렴 속도를 보이며, 이는 그래프의 스펙트럼 차원에 따라 결정되며, 동일한 추상적 연산자 프레임워크에서 유도된다.
• 추가 노이즈가 없을 경우, 단일 패assing 데이터 접근과 0 초기화에 의한 암묵적 정규화 덕분에 단계 크기 감소나 평균화 없이도 SGD가 수렴한다.