[논문 리뷰] Toward Understanding the Impact of Staleness in Distributed Machine Learning

Wei Dai, Yi Zhou외 3명|arXiv (Cornell University)|2018. 10. 07.

Stochastic Gradient Optimization Techniques인용 수 25

한 줄 요약

이 논문은 분산 기계 학습에서 파라미터의 오래됨(staleness)이 다양한 모델과 최적화 알고리즘에서 수렴 속도와 안정성에 미치는 영향을 조사한다. 광범위한 실험적 평가와 기울기 일관성 기반의 새로운 이론적 분석을 통해 저자들은 비볼록 최적화에서 이방형 SGD의 수렴 속도가 O(1/√T)임을 입증하며, 이는 기존에 알려진 최고 수준의 속도와 일치한다. 또한 기울기 일관성이 오래됨 민감도를 결정하는 핵심 요소임을 규명한다.

ABSTRACT

Many distributed machine learning (ML) systems adopt the non-synchronous execution in order to alleviate the network communication bottleneck, resulting in stale parameters that do not reflect the latest updates. Despite much development in large-scale ML, the effects of staleness on learning are inconclusive as it is challenging to directly monitor or control staleness in complex distributed environments. In this work, we study the convergence behaviors of a wide array of ML models and algorithms under delayed updates. Our extensive experiments reveal the rich diversity of the effects of staleness on the convergence of ML algorithms and offer insights into seemingly contradictory reports in the literature. The empirical findings also inspire a new convergence analysis of stochastic gradient descent in non-convex optimization under staleness, matching the best-known convergence rate of O(1/\\sqrt{T}).

연구 동기 및 목표

• 분산 기계 학습에서 이방형 학습이 수렴을 향상시키는지 방해하는지에 대한 상반된 실험 결과를 해결하기 위해.
• 하드웨어 및 소프트웨어적 요인과 같은 시스템 수준의 요인들로부터 오래됨의 영향을 수렴에 미치는 영향을 분리하여 고립하기 위해.
• 기울기 일관성과 이방성 하에서의 수렴 성능을 연결하는 이론적 프레임워크를 개발하기 위해.
• 다양한 모델(CNNs, DNNs, LDA, VAEs 등)과 최적화 알고리즘(SGD, Adam, RMSProp 등)에서 오래됨의 영향을 실험적으로 평가하기 위해.
• 통계적 손실가능성에도 불구하고 이방성 학습이 실제로 월클록 타임에서 속도 향상을 제공할 수 있는 조건을 규명하여 시스템 설계를 안내하기 위해.

제안 방법

• 저자들은 기하학적 지연 분포를 사용하여 제어된 오래됨 수준을 가진 분산 학습을 시뮬레이션함으로써 오래됨을 시스템 변동성과 분리한다.
• 연속 기울기 간 코사인 유사도로 정의된 기울기 일관성 측도를 도입하여 업데이트의 방향적 안정성을 정량화한다.
• 최대 오래됨(s)과 기울기 일관성(μ)에 따라 의존하는 이방형 SGD의 이론적 수렴 경계를 유도하며, 스텝 사이즈 선택 시의 상충관계를 보여준다.
• 핵심 이론적 결과로는 기울기 일관성 μk ≥ μ > 0 조건 하에서 이방형 SGD가 비볼록 최적화에서 O(1/√T)의 수렴 속도를 달성함을 증명하며, 이는 문헌에서 알려진 최고 수준의 속도와 일치한다.
• ResNet 및 DNN 모델의 최적화 경로에서 기울기 간 코사인 유사도를 시각화하여 일관성 가설을 검증한다.
• 실험적 평가는 6개의 모델(딥 네트워크, 로지스틱 회귀, 행렬 분해, LDA, VAEs 포함)과 7개의 알고리즘을 대상으로 다양한 오래됨 수준에서 수행된다.

실험 결과

연구 질문

• RQ1 다양한 기계 학습 모델과 알고리즘에서 오래됨이 수렴 속도와 최종 모델 품질에 어떤 영향을 미치는가?
• RQ2 왜 일부 최적화 알고리즘(예: Adam)은 다른 알고리즘(예: SGD)보다 오래됨에 더 민감한가?
• RQ3 기울기 일관성은 지연된 업데이트에 대한 최적화 알고리즘의 민감도를 설명할 수 있는가?
• RQ4 오래됨과 기울기 일관성을 고려할 때, 비볼록 설정에서 이방형 SGD의 이론적 수렴 속도는 무엇인가?
• RQ5 어떤 조건에서 이방성 학습이 통계적 비효율성에도 불구하고 실제로 월클록 타임에서 속도 향상을 달성할 수 있는가?

주요 결과

• 모든 모델에서 오래됨이 수렴 속도를 저하시키며, 깊이 있는 모델(예: ResNet)은 浅층 모델보다 훨씬 더 민감하다.
• 다중 클래스 로지스틱 회귀와 같은 볼록 문제에서는 오래됨이 수렴에 거의 영향을 주지 않는다.
• Adam과 RMSProp과 같은 최적화 알고리즘은 SGD와 Adagrad에 비해 높은 오래됨에서 통계적 손실이 크게 증가하지만, 후자 두 알고리즘은 더 견고하다.
• LDA에 대한 기브스 샘플링은 임계값 이하에서는 오래됨에 매우 내성적이지만, 이를 초과하면 고정점으로 수렴하지 못한다.
• 기울기 일관성—연속 기울기 간 코사인 유사도로 측정—은 최적화 과정에서 증가하며, 일부 알고리즘이 오래됨에 더 견고한 이유를 설명한다.
• 이론적 분석을 통해 이방형 SGD가 기울기 일관성 μk ≥ μ > 0 조건 하에서 비볼록 최적화에서 O(1/√T)의 수렴 속도를 달성함을 증명하며, 이는 문헌에서 알려진 최고 수준의 속도와 일치한다.