[논문 리뷰] Asynchronous parallel adaptive stochastic gradient methods

Yangyang Xu, Colin Sutcher-Shepard외 2명|arXiv (Cornell University)|2020. 02. 21.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 2

한 줄 요약

이 논문은 AMSGrad 기반의 비동기 병렬 적응형 확률적 경사 하강법을 제안하여, 수렴 보장을 유지하면서도 이성성에 기반해 딥러닝 모델의 훈련 속도를 향상시킨다. 유연성 있는 지연 시간이 최적화되지 않은 경우 거의 선형적인 속도 향상을 입증하며, 볼록 및 비볼록 설정 모두에서 동기화 대비 우수한 성능을 보인다.

ABSTRACT

Stochastic gradient methods (SGMs) are the predominant approaches to train deep learning models. The adaptive versions (e.g., Adam and AMSGrad) have been extensively used in practice, partly because they achieve faster convergence than the non-adaptive versions while incurring little overhead. On the other hand, asynchronous (async) parallel computing has exhibited much better speed-up over its synchronous (sync) counterpart. However, async-parallel implementation has only been demonstrated to the non-adaptive SGMs. The difficulty for adaptive SGMs originates from the second moment term that makes the convergence analysis challenging with async updates. In this paper, we propose an async-parallel adaptive SGM based on AMSGrad. We show that the proposed method inherits the convergence guarantee of AMSGrad for both convex and non-convex problems, if the staleness (also called delay) caused by asynchrony is bounded. Our convergence rate results indicate a nearly linear parallelization speed-up if $ au=o(K^{\frac{1}{4}})$, where $ au$ is the staleness and $K$ is the number of iterations. The proposed method is tested on both convex and non-convex machine learning problems, and the numerical results demonstrate its clear advantages over the sync counterpart.

연구 동기 및 목표

• 이전에 두 번째 순간 항의 도전 과제로 인해 수렴 보장이 없었던 적응형 확률적 경사 하강 방법에 비동기 병렬성을 확장하기 위해.
• 특히 지연된 경사 하강 업데이트로 인해 비동기 설정에서 적응형 방법의 수렴 분석이 어려운 문제를 해결하기 위해.
• AMSGrad의 빠른 수렴 특성을 유지하면서도 비동기성을 통해 효율적인 분산 훈련을 가능하게 하는 방법을 설계하기 위해.
• 유한한 지연 조건 하에서 볼록 및 비볼록 문제에 대한 이론적 수렴 속도를 확립하기 위해.

제안 방법

• 독립적인 워커로부터 온 오래된 경사 하강값을 처리할 수 있도록 업데이트 규칙을 수정한 AMSGrad 알고리즘의 비동기 병렬 변형을 제안한다.
• 지연된 업데이트가 수렴에 미치는 영향을 제어하기 위해 유한한 지연 조건(τ = o(K^{1/4}))을 도입한다.
• 지수 이동 평균를 사용하여 기울기의 제곱 평균을 추적함으로써 AMSGrad의 적응형 학습률 메커니즘을 유지한다.
• 동기화 장벽 없이 공유 파라미터를 비동기적으로 업데이트할 수 있는 탈중앙화된 파라미터 서버 아키텍처를 사용한다.
• 적응형 방법에서 오래된 기울기로 인해 발생하는 분산을 고려한 수정된 수렴 분석 프레임워크를 구현한다.
• 유한한 지연 조건 하에서 볼록 및 비볼록 목표 함수에 대해 수렴을 증명하며, AMSGrad의 이론적 보장을 비동기 설정으로 확장한다.

실험 결과

연구 질문

• RQ1 적응형 확률적 경사 하강 방법(예: AMSGrad)에 비동기 병렬성이 성공적으로 확장될 수 있는가? 이 경우 수렴 보장은 유지되는가?
• RQ2 비동기 설정에서 기울기의 오래됨(지연)이 적응형 방법의 수렴에 미치는 이론적 영향은 무엇인가?
• RQ3 제안된 방법은 실질적으로 거의 선형적 속도 향상을 달성하는가? 지연 조건은 어떠한가?
• RQ4 비볼록 최적화 문제에서 비동기 적응형 방법의 성능은 동기화 대비 어떻게 다른가?
• RQ5 수렴과 효율적인 병렬 처리를 보장하기 위해 지연(τ)과 반복 수(K) 사이의 관계는 어떠해야 하는가?

주요 결과

• 제안된 비동기 AMSGrad 방법은 지연 τ가 τ = o(K^{1/4})를 만족할 경우 거의 선형 병렬 처리 속도 향상을 달성한다.
• 유한한 지연 조건 하에서 볼록 및 비볼록 문제에 대해 표준 AMSGrad와 동일한 수렴 속도를 유지한다.
• 볼록 및 비볼록 기계 학습 문제에 대한 수치 실험 결과, 비동기 방법이 동기화 대비 훈련 속도와 수렴 효율성에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 비동기 설정에서 적응형 방법의 수렴을 입증하며, 분산 환경으로의 적응형 방법 확장에 있어 핵심 과제를 해결했다.
• 비동기성을 통해 확장성 있고 탈중앙화된 훈련을 가능하게 하면서도, AMSGrad의 빠른 수렴 특성을 그대로 유지한다.