[논문 리뷰] Faster Asynchronous SGD

Augustus Odena|arXiv (Cornell University)|2016. 01. 15.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 16

한 줄 요약

이 논문은 빠른 비동기 경사 하강법(FASGD)을 제안하며, 이는 기존의 단계 수 기반의 지연도가 아닌 기울기 통계의 이동 평균을 사용하여 지연도를 정량화함으로써 분산 학습에서 수렴 속도와 확장성을 향상시킨다. 이는 이전의 지연도 인식 방법인 SASGD를 능가한다. 또한 B-FASGD라는 대안을 제안하여, 동일한 기울기 통계 기반의 지연도 모델을 활용해 총 대역폭 사용량을 최대 5배까지 줄이며, 수렴 성능에 미치는 영향을 최소화함으로써 더 효율적인 대규모 학습을 가능하게 한다.

ABSTRACT

Asynchronous distributed stochastic gradient descent methods have trouble converging because of stale gradients. A gradient update sent to a parameter server by a client is stale if the parameters used to calculate that gradient have since been updated on the server. Approaches have been proposed to circumvent this problem that quantify staleness in terms of the number of elapsed updates. In this work, we propose a novel method that quantifies staleness in terms of moving averages of gradient statistics. We show that this method outperforms previous methods with respect to convergence speed and scalability to many clients. We also discuss how an extension to this method can be used to dramatically reduce bandwidth costs in a distributed training context. In particular, our method allows reduction of total bandwidth usage by a factor of 5 with little impact on cost convergence. We also describe (and link to) a software library that we have used to simulate these algorithms deterministically on a single machine.

연구 동기 및 목표

• 대규모 이종 분산 학습 환경에서 기인하는 오래된 기울기로 인한 수렴 문제를 해결하기 위해.
• 기존의 지연도 인식 방법(예: SASGD)을 넘어서 수렴 속도와 확장성을 향상시키기 위해.
• 수렴 성능을 희생시키지 않고 분산 학습의 통신 대역폭 비용을 줄이기 위해.
• 단일 머신에서 분산 학습 알고리즘을 재현 가능한 방식으로 평가할 수 있는 결정론적 시뮬레이션 프레임워크를 제공하기 위해.

제안 방법

• FASGD는 단계 수 기반의 지연도가 아닌 기울기 통계의 이동 평균을 사용하여 지연도를 정량화함으로써 더 유연한 학습률 조절이 가능하다.
• 알고리즘은 기울기 노름의 이동 평균을 기반으로 학습률을 동적으로 조정하여 실제 기울기 행동을 더 잘 반영하고 오래된 업데이트의 영향을 줄인다.
• B-FASGD는 동일한 기울기 통계 기반의 지연도 모델을 활용해 FASGD를 확장하여, 특히 파라미터 가져오기 통신에 대한 대역폭 사용량을 선택적으로 줄인다.
• 시스템은 각 파라미터의 이동 평균을 모니터링하여 통신 빈도를 조절함으로써, 학습 안정성을 유지하면서도 대역폭을 줄일 수 있다.
• 재현 가능한 분산 학습 알고리즘 평가를 위해 단일 머신에서 사용 가능한 결정론적 시뮬레이션 라이브러리를 제공한다.
• 이 방법은 변화하는 대역폭과 지연도 조건에 적응함으로써 학습 중 클라이언트의 동적 프로비저닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기울기 통계는 단계 수 기반의 지연도보다 비동기 경사 하강법에서 더 효과적인 지연도 측정 방법이 될 수 있는가?
• RQ2 클라이언트 수가 다양할 때 FASGD는 SASGD에 비해 수렴 속도와 확장성 측면에서 어떻게 비교되는가?
• RQ3 수렴 성능을 떨어뜨리지 않고 분산 학습에서 대역폭 사용량을 어느 정도 줄일 수 있는가?
• RQ4 기울기 통계 기반의 동적 통신 조절이 총 통신량을 줄이면서도 학습 안정성을 유지할 수 있는가?
• RQ5 대규모 분산 학습에서 대역폭 절감과 수렴 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• FASGD는 클라이언트 수(λ)가 증가할수록 성능 격차가 커지며, SASGD보다 일관되게 수렴 속도와 최종 비용에서 뛰어나다.
• MNIST에서 FASGD는 테스트한 모든 λ 값(250, 500, 1000, 10000)에서 SASGD보다 낮은 검증 비용을 기록하여 뛰어난 확장성을 입증한다.
• B-FASGD는 가져오기 통신을 줄여 총 대역폭 사용량을 5배까지 줄였으며, 수렴에 미치는 영향은 최소한이었다.
• 푸시 통신은 가져오기 통신보다 더 민감하게 반응하며, 푸시 통신 사용량을 줄이면 성능이 급격히 악화됨을 보여주어 비대칭적 통신 병목 현상이 존재함을 시사한다.
• 대역폭 대 수렴 곡선의 음의 이阶도는 기울기 통계가 조절 가능한 대역폭 조절을 이끌 수 있음을 나타내며, 특히 초기 학습 단계에서 매우 유용하다.
• 이 방법은 지연도 가능성에 맞춰 통신을 조율함으로써 학습 중 동적 클라이언트 프로비저닝을 가능하게 하며, 일관된 대역폭 사용을 유지한다.