[논문 리뷰] Faster Stochastic Algorithms via History-Gradient Aided Batch Size Adaptation

Kaiyi Ji, Zhe Wang외 2명|arXiv (Cornell University)|2019. 10. 21.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 배치 크기를 이전의 확률적 경사하강 정보를 기반으로 적응적으로 조절하는 AbaSGD, AbaSVRG, AbaSPIDER를 제안한다. 이는 후퇴 없이 더 빠른 수렴을 가능하게 하며, 수렴 복잡도 향상과 최적화 경계면에 대한 적응성을 확보한다. 실험 결과에서 기존의 단순 및 기존의 적응적 배치 크기 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Various schemes for adapting batch size have been recently proposed to accelerate stochastic algorithms. However, existing schemes either apply prescribed batch size adaption or require additional backtracking and condition verification steps to exploit the information along optimization path. In this paper, we propose an easy-to-implement scheme for adapting batch size by exploiting history stochastic gradients, based on which we propose the Adaptive batch size SGD (AbaSGD), AbaSVRG, and AbaSPIDER algorithms. To handle the dependence of the batch size on history stochastic gradients, we develop a new convergence analysis technique, and show that these algorithms achieve improved overall complexity over their vanilla counterparts. Moreover, their convergence rates are adaptive to the optimization landscape that the iterate experiences. Extensive experiments demonstrate that our algorithms substantially outperform existing competitive algorithms.

연구 동기 및 목표

• 확률적 최적화에서 고정 또는 후퇴 기반의 배치 크기 적응 방식의 한계를 해결한다.
• 추가 조건 검사가 필요 없이 이전의 확률적 경사하강 정보를 활용해 배치 크기 적응을 이끌어내는 방법을 개발한다.
• 더 나은 수렴 복잡도와 국소 최적화 경계면에 대한 적응성을 확보한다.
• 구현이 용이하고 기존의 경쟁적 방법보다 실증적으로 뛰어난 성능을 보이는 알고리즘을 설계한다.

제안 방법

• 역사적 확률적 경사하강의 노름을 곡률 정보의 대체 지표로 사용하는 새로운 배치 크기 적응 규칙을 도입한다.
• 기존 표준 확률적 알고리즘에 역사적 경사하강 기반의 배치 크기 규칙을 통합하여 AbaSGD, AbaSVRG, AbaSPIDER를 설계한다.
• 과거 경사하강 기록에 따라 변하는 배치 크기의 의존성을 다룰 수 있는 새로운 수렴 분석 기법을 개발한다.
• 역사적 경사하강 정보가 낮은 곡률을 나타낼 경우 배치 크기를 증가시키고, 곡률이 높을 경우 감소시켜 분산과 진전 사이의 균형을 맞춘다.
• 역사적 확률적 경사하강 정보를 활용해 국소 최적화 경계면을 반영하는 방식으로 동적으로 배치 크기를 조정한다.
• 기존의 적응적 방법에서 일반적으로 요구되는 후퇴 또는 선색색 검사 단계를 피함으로써 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 후퇴나 고정 스케줄에 의존하지 않고 이전의 확률적 경사하강 정보를 활용해 배치 크기 적응을 더 효율적으로 만들 수 있는가?
• RQ2 과거 경사하강에 따라 변하는 배치 크기의 의존성을 공식적으로 분석하여 수렴을 보장할 수 있는가?
• RQ3 제안된 방법이 기존의 단순 및 적응적 배치 크기 알고리즘보다 더 나은 총수렴 복잡도를 달성할 수 있는가?
• RQ4 수렴 속도가 최적화 경계면의 국소 곡률에 얼마나 잘 적응하는가?
• RQ5 실세계 최적화 과제에서 제안된 방법이 실용적 효율성을 유지하고 최신 기준 성능을 초월하는가?

주요 결과

• 제안된 AbaSGD, AbaSVRG, AbaSPIDER 알고리즘은 기존의 단순 알고리즘 대비 더 나은 총수렴 복잡도를 달성한다.
• 제안된 알고리즘의 수렴 속도는 반복 과정에서 경험하는 국소 최적화 경계면에 적응적이다.
• 광범위한 실증 평가에서 기존의 경쟁적 방법보다 뛰어난 성능을 보였다.
• 새로운 수렴 분석 기법은 역사적 경사하강에 따른 배치 크기 의존성을 효과적으로 다루었으며, 이론적 보장을 가능하게 했다.
• 후퇴나 추가 조건 검증 단계 없이도 더 빠른 수렴을 달성했다.
• 역사적 경사하강 노름을 추적함으로써 배치 크기 적응 메커니즘이 분산 감소와 진전 사이의 균형을 효과적으로 유지했다.