[논문 리뷰] Fast Distributed Asynchronous SGD with Variance Reduction.

Ruiliang Zhang, Shuai Zheng외 1명|arXiv (Cornell University)|2015. 08. 07.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 17

한 줄 요약

이 논문은 일정 학습률을 사용함으로써 선형 수렴를 달성하는 분산 비동기 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 알고리즘을 제안하며, 이는 높은 해의 품질과 빠른 월클록 성능을 동시에 보장한다. Google 클라우드에서의 실험 결과, 최신 기술 대비 수렴 속도와 해의 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

With the recent proliferation of large-scale learning problems, there have been a lot of interest on distributed machine learning algorithms, particularly those that are based on stochastic gradient descent (SGD) and its variants. However, existing algorithms either suffer from slow convergence due to the inherent variance of stochastic gradients, or have a fast linear convergence rate but at the expense of poorer solution quality. In this paper, we combine their merits together by proposing a distributed asynchronous SGD-based algorithm with variance reduction. A constant learning rate can be used, and it is also guaranteed to converge linearly to the optimal solution. Experiments on the Google Cloud Computing Platform demonstrate that the proposed algorithm outperforms state-of-the-art distributed asynchronous algorithms in terms of both wall clock time and solution quality.

연구 동기 및 목표

• 분산 확률적 경사 하강법에서 수렴 속도와 해의 품질 사이의 상충 관계를 해결하기 위해.
• 감소하는 학습률이 필요 없이 분산 비동기 SGD에서 선형 수렴를 달성하기 위해.
• 대규모 머신 러닝 워크로드에서 월클록 시간과 해의 품질을 향상시키기 위해.
• 분산 비동기 학습의 이점과 분산된 기울기의 분산 감소 기법을 융합하여 더 나은 확장성을 확보하기 위해.

제안 방법

• 기울기 노이즈를 줄이기 위해 분산 비동기 SGD 알고리즘을 분산된 기울기 감소 기법으로 개선한다.
• 학습률 감쇠 없이 안정적이고 빠른 수렴를 보장하기 위해 일정 학습률을 사용한다.
• 비동기 업데이트 동안 기울기 정확도를 유지하는 분산 감소 기법을 통합한다.
• 분산 노드 간의 통신 효율성과 확장성을 고려해 알고리즘을 설계한다.
• 동기화 없이도 독립적으로 작업자 노드가 진행할 수 있도록 탈중앙화된 업데이트 메커니즘을 구현한다.
• 기본 가정 하에 최적의 해로의 선형 수렴를 보장한다.

실험 결과

연구 질문

• RQ1 분산 비동기 SGD에 분산 감소 기법을 효과적으로 통합하여 일정 학습률로 선형 수렴를 달성할 수 있는가?
• RQ2 제안된 알고리즘이 기존 비동기 방법 대비 해의 품질과 월클록 시간을 모두 향상시키는가?
• RQ3 실제 분산 컴퓨팅 환경, 예를 들어 클라우드 플랫폼에서 알고리즘이 어떻게 성능을 내는가?
• RQ4 비동기성과 분산 감소가 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 일정 학습률을 사용하여 최적의 해로 선형 수렴를 달성한다.
• Google 클라우드에서 최신 기술 대비 월클록 시간과 해의 정확도에서 뛰어난 성능을 보였다.
• 스티어티컬 기울기에서 효과적인 분산 감소 덕분에 높은 해의 정확도를 유지한다.
• 일정 학습률 사용으로 하이퍼파rameter 튜닝이 간소화되면서도 신속한 수렴를 보장한다.
• 분산 노드 간에서 잘 스케일링되어 대규모 학습 환경에서 뛰어난 효율성을 보였다.