[논문 리뷰] Non-strongly-convex smooth stochastic approximation with convergence rate O(1/n)

Francis Bach, Éric Moulines|arXiv (Cornell University)|2013. 06. 10.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 228

한 줄 요약

이 논문은 비강한볼록성, 미분가능한 문제에 대해 O(1/n) 수렴 속도를 달성하는 두 가지 새로운 확률적 최적화 알고리즘을 제안한다. 이는 표준 확률적 경사하강법(SGD)이 오직 O(1/√n) 수렴 속도에 그치는 것과 대비된다. 최소제곱 회귀에서는 일정한 스텝 사이즈를 사용하는 평균화된 확률적 경사하강법이 O(1/n) 수렴 속도를 달성함을 보이며, 로지스틱 회귀에서는 지역 2차 근사 근사를 구축하면서도 SGD의 계산 효율성을 유지하는 새로운 알고리즘을 제안한다.

ABSTRACT

We consider the stochastic approximation problem where a convex function has to be minimized, given only the knowledge of unbiased estimates of its gradients at certain points, a framework which includes machine learning methods based on the minimization of the empirical risk. We focus on problems without strong convexity, for which all previously known algorithms achieve a convergence rate for function values of O(1/n^{1/2}). We consider and analyze two algorithms that achieve a rate of O(1/n) for classical supervised learning problems. For least-squares regression, we show that averaged stochastic gradient descent with constant step-size achieves the desired rate. For logistic regression, this is achieved by a simple novel stochastic gradient algorithm that (a) constructs successive local quadratic approximations of the loss functions, while (b) preserving the same running time complexity as stochastic gradient descent. For these algorithms, we provide a non-asymptotic analysis of the generalization error (in expectation, and also in high probability for least-squares), and run extensive experiments on standard machine learning benchmarks showing that they often outperform existing approaches.

연구 동기 및 목표

• 표준 방법이 오직 O(1/√n) 수렴 속도를 달성하는 비강한볼凸성 확률적 최적화의 수렴 속도 격차를 메우기 위해.
• 강한볼凸성이 필요 없이도 O(1/n) 수렴 속도를 달성하는 알고리즘을 개발하기 위해.
• 수렴 속도 향상과 함께 표준 확률적 경사하강법과 유사한 계산 효율성을 유지하기 위해.
• 제안된 알고리즘에 대해 기대값과 높은 확률에서의 비점근 일반화 오차 경계를 제공하기 위해.
• 표준 기계학습 벤치마크에서 제안된 방법이 기존 방법보다 우수함을 경험적으로 입증하기 위해.

제안 방법

• 최소제곱 회귀에서 일정 스텝 사이즈를 사용하는 평균화된 확률적 경사하강법을 분석하여, 미분 가능성과 모멘트 조건 하에서 O(1/n) 수렴 속도를 증명한다.
• 로지스틱 회귀에서 손실 함수의 연속적인 지역 2차 근사 근사를 구성하는 새로운 확률적 알고리즘을 제안한다.
• 새로운 알고리즘이 표준 SGD와 동일한 반복 복잡도를 유지하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 비점근 분석을 통해 두 알고리즘의 기대값과 높은 확률에서의 일반화 오차 경계를 유도한다.
• 손실 함수의 미분 가능성(제곱 및 로지스틱)을 활용하여 강한볼凸성이 없더라도 더 날카운 수렴 속도를 유도한다.
• 반복의 진동과 최적 해로부터의 이격도를 제어하기 위해 연산자 부등식과 모멘트 경계를 활용하는 새로운 분석 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 표준 방법이 O(1/√n) 수렴 속도에 그치는 비강한볼凸성 문제에서, 확률적 최적화가 O(1/n) 수렴 속도를 달성할 수 있는가?
• RQ2 강한볼凸성이 없더라도 일정 스텝 사이즈를 사용하는 평균화된 SGD가 최소제곱 회귀에서 O(1/n) 수렴 속도를 달성하는가?
• RQ3 로지스틱 회귀를 위한 새로운 확률적 알고리즘이 낮은 계산 오버헤드를 유지하면서 지역 2차 근사 근사를 통해 O(1/n) 수렴 속도를 달성할 수 있는가?
• RQ4 제안된 알고리즘의 기대값과 높은 확률에서의 비점근 일반화 오차 경계는 무엇인가?
• RQ5 제안된 알고리즘이 표준 기계학습 벤치마크에서 기존 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 강한볼凸성이 필요 없이도 일정 스텝 사이즈를 사용하는 평균화된 확률적 경사하강법이 최소제곱 회귀에서 O(1/n) 수렴 속도를 달성한다.
• 로지스틱 회귀에서 지역 2차 근사 근사를 사용하는 제안된 알고리즘은 표준 SGD와 동일한 실행 시간 복잡도를 유지하면서도 O(1/n) 수렴 속도를 달성한다.
• 최소제곱 회귀 알고리즘의 일반화 오차는 기대값과 높은 확률에서 경계가 되며, 문제 파라미터에 명시적인 의존성을 보인다.
• 양자, rcv1, news 등의 데이터셋에서의 경험적 결과로, 제안된 방법은 테스트 성능과 학습 목표 함수 수렴 측면에서 기존 방법보다 종종 뛰어난 성능을 보였다.
• 희박하지 않은 데이터셋에서는 SAG가 가장 낮은 학습 오차를 기록했지만, 고차원 희박 데이터셋에서는 일정 스텝 사이즈 SGD가 가장 우수한 성능을 보여, 제안된 방법의 실용적 이점이 확인되었다.
• 이론적 분석을 통해 수렴 속도 향상은 강한볼凸성이 없더라도 손실 함수의 미분 가능성에 기반한 것으로 확인되었다.