[논문 리뷰] Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition

Mark Schmidt, Nicolas Le Roux|arXiv (Cornell University)|2013. 08. 29.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 86

한 줄 요약

이 논문은 강한 성장 조건 하에서 확률적 경사 하강법(SGD)이 빠른 $O(1/k)$ 수렴과 선형 수렴을 달성함을 입증한다. 여기서 개별 경사의 노름은 전체 경사 노름에 대한 선형 함수로 유계이다. 충분히 작은 상수 단계 크기로 설정할 경우, SGD는 각 반복에서 한 개의 샘플만 사용하더라도 결정론적 경사 하강법의 수렴 속도를 따라잡는다.

ABSTRACT

We consider optimizing a function smooth convex function $f$ that is the average of a set of differentiable functions $f_i$, under the assumption considered by Solodov [1998] and Tseng [1998] that the norm of each gradient $f_i'$ is bounded by a linear function of the norm of the average gradient $f'$. We show that under these assumptions the basic stochastic gradient method with a sufficiently-small constant step-size has an $O(1/k)$ convergence rate, and has a linear convergence rate if $g$ is strongly-convex.

연구 동기 및 목표

• 강한 성장 조건 하에서 확률적 및 결정론적 경사 하강법의 수렴 속도 간 격차를 해소하기 위해.
• 상수 단계 크기로 설정된 SGD가 볼록 목표 함수에 대해 $O(1/k)$ 수렴을 달성하고, 강한 볼록 목표 함수에 대해 선형 수렴을 달성할 수 있음을 보여주기 위해.
• 감소하는 단계 크기를 필요로 하지 않으면서도 빠른 수렴을 유지할 수 있는 조건을 규명하기 위해.
• 이전의 결정론적 점진적 경사 방법 결과를 단일 샘플 업데이트 규칙을 가진 확률적 설정으로 확장하기 위해.

제안 방법

• 강한 성장 조건을 도입: 모든 $x$에 대해 $\max_i \|f_i'(x)\| \leq B \|f'(x)\|$ 를 만족하여 개별 경사가 평균 경사에 의해 제어됨을 보장한다.
• 오차 항 $e_k = f_i'(x_k) - f'(x_k)$ 를 포함한 전경사 업데이트로 SGD를 재구성함으로써 분산 분석이 가능해진다.
• 이 조건을 사용하여 $\mathbb{E}[\|e_k\|^2] \leq (B^2 - 1)\|f'(x_k)\|^2$ 를 유도함으로써 오차 분산을 경사 노름과 연결한다.
• 재귀적 오차 경계를 유도하기 위해 $\|x_k - x^*\|^2$ 를 사용한 리아푸노프 함수 추론을 적용한다.
• gradient 항을 상쇄시키기 위해 $\alpha = 1/(LB^2)$ 를 선택하고, 파라미터 $\beta$ 에 대해 최적화함으로써 수렴 속도를 도출한다.
• 반복 과정에서 기대값과 합계 기법을 사용하여 $O(1/k)$ 및 선형 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 강한 성장 조건 하에서 상수 단계 크기로 설정된 확률적 경사 하강법이 $O(1/k)$ 수렴을 달성할 수 있는가?
• RQ2 강한 성장 조건이 강한 볼록 목표 함수에 대해 상수 단계 크기로 설정된 SGD의 선형 수렴을 가능하게 하는가?
• RQ3 강한 성장 조건 하에서 확률적 경사의 분산은 전체 경사의 노름과 어떻게 관련이 있는가?
• RQ4 이 조건 하에서 SGD의 수렴 속도가 결정론적 경사 하강법의 수렴 속도와 일치할 수 있는가?
• RQ5 강한 성장 조건 하에서 빠른 수렴을 보장하는 최적의 상수 단계 크기는 무엇인가?

주요 결과

• 강한 성장 조건 $\max_i \|f_i'(x)\| \leq B \|f'(x)\|$ 하에서, 상수 단계 크기 $\alpha = 1/(LB^2)$ 를 사용한 SGD는 볼록 목표 함수에 대해 $O(1/k)$ 수렴을 달성한다.
• 강한 볼록 목표 함수에 대해서는 동일한 단계 크기로 선형 수렴을 달성한다: $\mathbb{E}[f(x_k)] - f(x^*) \leq \left(1 - \frac{\mu}{LB^2}\right)^k [f(x_0) - f(x^*)]$.
• 강한 성장 조건 하에서 수렴 속도는 $B \to 1$ 일 때 결정론적 방법의 $O(1/k)$ 및 선형 수렴 속도에 가까워지며, 이는 경계의 날카로움을 나타낸다.
• 분석 결과, 확률적 경사의 분산은 $\mathbb{E}[\|e_k\|^2] \leq (B^2 - 1)\|f'(x_k)\|^2$ 로 제어되며, 이는 수렴 속도 유도의 핵심 요소이다.
• 일반적인 SGD와 달리 감소하는 단계 크기를 필요로 하지 않아도 빠른 수렴을 달성한다.
• 각 반복에서 한 개의 샘플만 사용하더라도 이 결과는 성립하며, 이는 강한 성장 조건이 확률적 환경에서의 빠른 수렴을 가능하게 함을 보여준다.