[논문 리뷰] A Stochastic Gradient Method with an Exponential Convergence Rate for Finite Training Sets

Nicolas Le Roux, Mark Schmidt외 1명|arXiv (Cornell University)|2012. 02. 28.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 538

한 줄 요약

이 논문은 유한합 문제에 대해 선형(지수적) 수렴을 달성하는 새로운 확률적 최적화 알고리즘인 Stochastic Average Gradient(SAG) 방법을 제안한다. 이 방법은 과거 기울기를 메모리에 유지함으로써 이를 달성한다. 표준 확률적 기울기 방법이 하위선형 수렴을 보이는 데 반해, SAG는 낮은 반복 비용과 빠른 수렴을 결합하여 실무에서 표준 SG 및 전체 기울기 방법을 모두 능가한다.

ABSTRACT

We propose a new stochastic gradient method for optimizing the sum of a finite set of smooth functions, where the sum is strongly convex. While standard stochastic gradient methods converge at sublinear rates for this problem, the proposed method incorporates a memory of previous gradient values in order to achieve a linear convergence rate. In a machine learning context, numerical experiments indicate that the new algorithm can dramatically outperform standard algorithms, both in terms of optimizing the training error and reducing the test error quickly.

연구 동기 및 목표

• 표준 확률적 기울기 방법이 유한합 문제에 대해 하위선형 수렴을 보이는 한계를 해결하기 위해.
• 확률적 방법의 낮은 반복 비용을 유지하면서 전체 기울기 방법의 선형 수렴 속도를 달성하는 알고리즘을 개발하기 위해.
• 유한 데이터셋의 구조를 활용하여 기계학습 응용 분야에서 더 빠른 학습 및 테스트 오차 감소를 가능하게 하기 위해.
• 과거 기울기의 기억을 사용하는 유일한 비편향 기울기 추정치를 기반으로 이론적으로 탄탄한 방법을 제공하여 지수적 수렴을 달성하기 위해.

제안 방법

• SAG 방법은 각 학습 예제에 대해 가장 최근에 계산된 기울기의 메모리를 사용하며, 이를 버퍼에 저장한다.
• 각 반복에서 랜덤하게 하나의 학습 예제가 선택되고, 오직 그 기울기만 재계산되며, 나머지는 메모리에서 가져온다.
• 업데이트 규칙은 모든 저장된 기울기를 단계 크기로 조합하여 전체 기울기의 비편향 추정치를 형성한다.
• 이 방법은 기울기의 누적 평균을 유지함으로써 매 단계에서 모든 기울기를 다시 계산하지 않아도 수렴을 보장한다.
• 일정한 단계 크기를 사용하며, 강한 볼록성과 미세한 조건을 가정할 경우 선형 수렴을 달성한다.
• 이 알고리즘은 유한 학습 세트를 위한 목적에 맞게 설계된, 증분 집계 기울기(IAG) 방법의 무작위 변종이다.

실험 결과

연구 질문

• RQ1 유한합 문제에 대해 낮은 반복 비용을 유지하면서 선형 수렴을 달성할 수 있는 확률적 최적화 방법은 가능한가?
• RQ2 과거 기울기의 기억을 유지하는 것이 표준 확률적 기울기 방법보다 수렴 속도에 어떤 영향을 미치는가?
• RQ3 유한합 최적화에서 스트로스 업데이트와 기울기 기억을 결합한 방법의 이론적 수렴 속도는 무엇인가?
• RQ4 제안된 방법이 표준 확률적 및 전체 기울기 방법보다 학습 및 테스트 오차 감소 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 SAG 방법이 좌표 강하법 또는 가속 기울기 방법보다 더 빠른 수렴을 달성하는 조건은 무엇인가?

주요 결과

• SAG 방법은 표준 확률적 기울기 방법이 하위선형으로 수렴하는 것과는 달리 선형(지수적) 수렴 속도를 달성한다.
• SAG의 수렴 속도는 일반적인 비편향 기울기 접근 조건 하에서 최적으로 알려진 표준 확률적 기울기 방법보다 빠르다.
• 수치 실험 결과 SAG는 학습 오차와 테스트 오차 감소 측면에서 표준 알고리즘을 크게 능가한다.
• 문제의 크기가 $ n \gg p $ 인 경우, 특히 $ m_{\sigma} \gg m'_{\sigma} $ 일 때 SAG는 좌표 강하법보다 더 빠르게 수렴할 수 있다.
• 유리한 조건 하에서 SAG는 $ n $ 반복마다 $ \exp(-1/64) $ 의 수렴 속도를 달성하며, $ n $ 이 클 경우 좌표 강하법를 능가한다.
• 낮은 비용의 반복과 빠른 수렴 덕분에 SAG는 전체 기울기 방법보다 데이터를 효과적으로 통과하는 데 더 빠른 수렴 속도를 달성한다.