[논문 리뷰] A Novel Stochastic Stratified Average Gradient Method: Convergence Rate and Its Complexity

Aixiang Chen, Bingchuan Chen외 3명|arXiv (Cornell University)|2017. 10. 21.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 경사하강법의 분산을 줄이기 위해 분류 수준의 데이터 구조를 활용하고, 계층적 표본 추출과 반복 평균을 조합한 새로운 확률적 최적화 방법 SSAG를 제안한다. 이 방법은 데이터 크기 $N$과 무관하게 $\mathcal{O}((1 - \frac{\mu}{8CL})^k)$의 선형 수렴 속도를 달성하며, 저비용의 저장 및 반복 계산을 유지한다. 이는 SAG 및 기타 알고리즘보다 뛰어난 성능을 발휘한다.

ABSTRACT

SGD (Stochastic Gradient Descent) is a popular algorithm for large scale optimization problems due to its low iterative cost. However, SGD can not achieve linear convergence rate as FGD (Full Gradient Descent) because of the inherent gradient variance. To attack the problem, mini-batch SGD was proposed to get a trade-off in terms of convergence rate and iteration cost. In this paper, a general CVI (Convergence-Variance Inequality) equation is presented to state formally the interaction of convergence rate and gradient variance. Then a novel algorithm named SSAG (Stochastic Stratified Average Gradient) is introduced to reduce gradient variance based on two techniques, stratified sampling and averaging over iterations that is a key idea in SAG (Stochastic Average Gradient). Furthermore, SSAG can achieve linear convergence rate of $\mathcal {O}((1-\fracμ{8CL})^k)$ at smaller storage and iterative costs, where $C\geq 2$ is the category number of training data. This convergence rate depends mainly on the variance between classes, but not on the variance within the classes. In the case of $C\ll N$ ($N$ is the training data size), SSAG's convergence rate is much better than SAG's convergence rate of $\mathcal {O}((1-\fracμ{8NL})^k)$. Our experimental results show SSAG outperforms SAG and many other algorithms.

연구 동기 및 목표

• 대규모 최적화에서 수렴 속도와 계산 비용 간의 상충 관계를 해결하기 위해.
• 반복 비용이나 저장 요구 사항을 늘리지 않고도 확률적 최적화에서 경사 분산을 줄이기 위해.
• 학습 데이터 크기 $N$과 무관하게 선형 수렴을 달성하는 방법을 개발하기 위해, 특히 $C \ll N$일 경우에 중점을 두고.
• 새로운 수렴-분산 부등식(CVI)을 통해 수렴 속도와 경사 분산 간의 관계를 체계적으로 정의하기 위해.
• 대규모 데이터 세트에서 깊은 신경망을 훈련시키기에 적합하고 강력한 이론적 보장을 갖춘 알고리즘을 설계하기 위해.

제안 방법

• 수렴 속도와 경사 분산 간의 관계를 공식화하기 위해 새로운 수렴-분산 부등식(CVI)을 도입한다.
• 데이터 클래스 간에 더 균일하게 표본을 추출함으로써 초기 경사 분산을 줄이기 위해 계층적 표본 추출을 활용한다.
• SAG의 영감을 받아 과거 경사의 반복 평균을 사용하여 시간이 지남에 따라 분산을 낮춘다.
• 계층적 표본 추출과 경사 평균의 융합으로 새로운 하이브리드 방법인 SSAG(Stochastic Stratified Average Gradient)를 제안한다.
• 강한 볼록성과 행렬 분석을 이용해 수렴 속도의 경계를 유도하고, 선형 수렴을 증명한다.
• 복잡도 경계를 설정하여, 이는 데이터 크기 $N$이 아닌 클래스 수 $C$에 의존함을 보여준다.

실험 결과

연구 질문

• RQ1 표본 추출 과정에서 계층적 표본 추출을 사용함으로써 기존의 SGD나 SAG보다 더 효과적으로 경사 분산을 줄일 수 있는가?
• RQ2 계층적 표본 추출과 반복 평균을 조합하면 데이터 크기 $N$과 무관한 선형 수렴 속도를 달성할 수 있는가?
• RQ3 확률적 최적화에서 경사 분산과 수렴 속도 간의 이론적 관계는 무엇인가?
• RQ4 SSAG의 수렴 속도가 전체 데이터 크기 $N$이 아닌 클래스 수 $C$에만 의존함을 증명할 수 있는가?
• RQ5 실제로 SAG, SVRG, SAGA와 비교했을 때 SSAG는 수렴 속도와 계산 비용 측면에서 어떤가?

주요 결과

• SSAG는 데이터 크기 $N$이 아닌 클래스 수 $C$에 의존하는 선형 수렴 속도 $\mathcal{O}((1 - \frac{\mu}{8CL})^k)$를 달성한다.
• 특히 $C \ll N$일 경우, SSAG의 수렴 속도는 SAG의 $\mathcal{O}((1 - \frac{\mu}{8NL})^k)$보다 훨씬 빠르다.
• 이 방법은 낮은 저장 비용과 반복 비용을 유지하여 대규모 딥 러닝에 적합하다.
• 이론적 분석을 통해 수렴 속도가 $N$과 무관하고 오직 클래스 간 분산에만 의존한다는 것을 증명한다.
• 실험 결과, SSAG는 SAG, SVRG, SAGA, 미니배치 SGD보다 수렴 속도와 안정성 면에서 뛰어나다는 것이 확인되었다.
• 수렴 경계는 슈어 여부 조건과 행렬 분석을 통해 도출되었으며, $E\|W^k - W^*\|^2 \leq (1 - \frac{\mu}{8CL})^k \cdot \mathcal{O}(\sigma_c^2(W^*))$를 확립한다.