[논문 리뷰] Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning

Xin Zhang, Jia Liu외 1명|arXiv (Cornell University)|2018. 05. 24.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 비볼록 최적화에서 유계가 아닌 기울기 지연이 존재하는 비동기적 확률적 경사하강법(Async-SGD) 및 그 변종인 Async-SGDI의 수렴 속도를 확립한다. 최적성 오차와 비동기성에 기인한 오차를 동시에 고려하는 새로운 리아푸노프 함수를 도입함으로써, Async-SGD에 대해 o(1/√k)의 수렴 속도와 Async-SGDI에 대해 o(1/k)의 수렴 속도를 증명한다. 이는 유계가 아닌 지연이 동기 설정에서 관찰되는 주요 수렴 속도의 질적 수준을 떨어뜨리지 않음을 보여준다.

ABSTRACT

Understanding the convergence performance of asynchronous stochastic gradient descent method (Async-SGD) has received increasing attention in recent years due to their foundational role in machine learning. To date, however, most of the existing works are restricted to either bounded gradient delays or convex settings. In this paper, we focus on Async-SGD and its variant Async-SGDI (which uses increasing batch size) for non-convex optimization problems with unbounded gradient delays. We prove $o(1/\sqrt{k})$ convergence rate for Async-SGD and $o(1/k)$ for Async-SGDI. Also, a unifying sufficient condition for Async-SGD's convergence is established, which includes two major gradient delay models in the literature as special cases and yields a new delay model not considered thus far.

연구 동기 및 목표

• 비볼록 설정에서 유계가 아닌 기울기 지연이 존재하는 비동기적 SGD에 대한 수렴 분석 부족 문제를 해결하기 위해.
• 기존 연구들이 일반적으로 O(1/√k) 범위의 수렴 속도에 머무르는 데 비해, 더 강력한 수렴 속도를 확립하기 위해.
• 기존의 지연 모델을 일반화하는 Async-SGD 수렴을 위한 통합적인 충분조건을 개발하기 위해.
• 증가하는 배치 크기를 사용하는 Async-SGDI의 성능을 유계가 아닌 지연 하에서 분석하기 위해.
• 합성 비볼록 문제에서의 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 최적성 오차와 비동기성에 기인한 오차를 동시에 추적하는 새로운 리아푸노프 함수를 제안한다.
• 반복 과정에서 리아푸노프 함수의 기대 감소량을 분석하여 수렴 속도를 유도한다.
• 기존 문헌에서 두 주요 지연 모델을 특수 케이스로 포함하는 일반화된 기울기 지연에 대한 충분조건을 도입한다.
• 단계 크기가 O(1/(√k log k))로 감소하는 Async-SGD와 증가하는 배치 크기를 사용하는 Async-SGDI에 분석을 적용한다.
• 비볼록 설정에서 오래된 기울기의 영향을 제어하기 위해 확률적 근사 이론과 모멘트 한계를 활용한다.
• 저차원 행렬 복원 및 공분산 추정 문제에 대한 수치 실험을 통해 이론적 수렴 속도를 검증한다.

실험 결과

연구 질문

• RQ1 기울기 지연이 유계가 아닐 경우 비동기적 SGD는 비볼록 최적화에서 수렴할 수 있는가?
• RQ2 유계가 아닌 지연 하에서 Async-SGD가 o(1/√k) 수렴 속도를 확보하기 위해 어떤 단계 크기 스케줄이 필요한가?
• RQ3 유계가 아닌 지연 하에서 Async-SGDI의 수렴 속도는 Async-SGD와 비교해 어떻게 되는가?
• RQ4 기존의 지연 모델을 특수 케이스로 포함하는 통합적인 기울기 지연 가정을 구성할 수 있는가?
• RQ5 이론적 수렴 속도는 실제 비볼록 머신러닝 문제에서 유지되는가?

주요 결과

• 논문은 단계 크기가 O(1/(√k log k))로 감소하는 Async-SGD가 유계가 아닌 기울기 지연 하에서도 비볼록 최적화에서 o(1/√k)의 수렴 속도를 확보함을 증명한다.
• 증가하는 배치 크기를 사용하는 Async-SGDI는 동일한 유계가 아닌 지연 조건 하에서 더 빠른 o(1/k) 수렴 속도를 달성한다.
• 두 주요 지연 모델을 일반화하는 Async-SGD 수렴을 위한 새로운 통합적인 충분조건을 제안한다.
• 실증 결과는 o(1/√k) 수렴 속도가 실질적으로 달성되었음을 확인하며, Async-SGDI가 표준 Async-SGD보다 더 빠르게 수렴함을 보여준다.
• 수치 실험에서 O(1/(√k log k)) 단계 크기를 사용하는 Async-SGD의 수렴 속도가 O(1/k) 단계 크기보다 뛰어나다.
• 이론적 분석은 유계, 포isson, 시스템 지연 분포를 포함한 다양한 지연 모델에서 유효하며, 강건성을 확인한다.