[논문 리뷰] Elastic Consistency: A General Consistency Model for Distributed Stochastic Gradient Descent

Giorgi Nadiradze, Ilia Markov외 3명|arXiv (Cornell University)|2020. 01. 16.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 분산 확률적 경사 하강법(SGD)을 위한 일반적인 일致성 모델인 유연한 일치성(elastic consistency)을 소개한다. 이는 시스템 구현 세부 사항과 수렴 요구 조건을 분리함으로써 다양한 통신 감소 및 비동기 방법에 걸쳐 수렴 한계를 제공한다. 새로운 동기화 회피 기반 기법을 통해 향상된 학습 효율성을 확보하였으며, CIFAR-100 및 CIFAR-10에서 전체 정확도 복구와 함께 ResNet18에서 최대 30%의 속도 향상을 달성하였다.

ABSTRACT

Machine learning has made tremendous progress in recent years, with models matching or even surpassing humans on a series of specialized tasks. One key element behind the progress of machine learning in recent years has been the ability to train machine learning models in large-scale distributed shared-memory and message-passing environments. Many of these models are trained employing variants of stochastic gradient descent (SGD) based optimization. In this paper, we introduce a general consistency condition covering communication-reduced and asynchronous distributed SGD implementations. Our framework, called elastic consistency enables us to derive convergence bounds for a variety of distributed SGD methods used in practice to train large-scale machine learning models. The proposed framework de-clutters the implementation-specific convergence analysis and provides an abstraction to derive convergence bounds. We utilize the framework to analyze a sparsification scheme for distributed SGD methods in an asynchronous setting for convex and non-convex objectives. We implement the distributed SGD variant to train deep CNN models in an asynchronous shared-memory setting. Empirical results show that error-feedback may not necessarily help in improving the convergence of sparsified asynchronous distributed SGD, which corroborates an insight suggested by our convergence analysis.

연구 동기 및 목표

• 비동기 업데이트 및 통신 압축과 같은 다양한 일치성 완화 조건 하에서 분산 SGD에 대한 일반적인 수렴 보장을 제공하는 데 도전한다.
• 메시지 전달, 공유 메모리, 양자화 등 시스템 수준의 실행 세부 사항을 SGD의 핵심 수렴 요구 조건에서 분리한다.
• 기존의 통신 감소 또는 동기화 감소 기법을 분석하고 향상시킬 수 있는 통합 프레임워크를 제공한다.
• 모델 수렴을 유지하면서 학습 효율성을 향상시키는 새로운 동기화 회피 학습 스케줄러를 개발하고 검증한다.
• 실제 시스템 제약 조건을 반영한 실증 평가를 통해 유연한 일치성의 실용적 적용 가능성을 입증한다.

제안 방법

• 지역 기울기의 전역 파라미터 업데이트에서의 이탈을 제한하는 일반적인 일치성 조건인 유연한 일치성(elastic consistency)을 제안하며, 이는 상수 γ로 매개변수화된다.
• 유연한 일치성 조건을 정의하여, 지역 및 전역 기울기 업데이트 간의 제곱 노름 기대값이 α² 및 M²에 비례하는 항으로 제한되며, 시스템 모델에 따라 달라지는 상수 B에 의존하도록 한다.
• 코시-슈바르츠 부등식을 사용하여 지역 및 전역 상태 간의 파라미터 이탈에 대한 상한을 유도함으로써, 약한 가정 하에서 수렴을 보장한다.
• 특정 통신 감소 기법, 즉 TopK 희소화 및 1비트 양자화를 분석하기 위해 프레임워크를 특수화하며, 각각의 γ 및 B 매개변수를 유도한다.
• 모든 레이어가 동기화되었거나, 동기화된 구성 요소의 노름 비율이 임계값 β를 초과할 경우 다음 순전파를 트리거하는 유연한 스케줄러를 구현한다.
• 제어된 네트워크 지연(5ms, 0.2ms 잼프) 하에서 Horovod 및 BytePS 프레임워크에 유연한 스케줄러를 통합하여 기준 백바리어 동기화 전략과 비교한다.

실험 결과

연구 질문

• RQ1 비동기 또는 압축된 통신과 같은 다양한 분산 SGD 시스템에서 일치성 완화 조건을 통합하는 일반적인 일치성 모델을 제안할 수 있는가?
• RQ2 통신 대역폭, 지연, 동기화 오버헤드와 같은 시스템 특수 제약 조건을 하나의 수렴 유지 조건으로 추상화할 수 있는가?
• RQ3 제안된 유연한 일치성 모델 하에서 기존의 통신 감소 기법인 TopK 및 1비트 양자화의 수렴 한계는 무엇인가?
• RQ4 모델 정확도를 유지하면서 훈련 시간을 크게 단축시킬 수 있는 새로운 동기화 회피 스케줄러를 설계할 수 있는가?
• RQ5 유연한 일치성이 실제 딥 러닝 워크로드에서 수렴성이나 모델 정확도를 희생시키지 않고 얼마나 빠른 훈련을 가능하게 할 수 있는가?

주요 결과

• 유연한 일치성은 메시지 전달 및 공유 메모리 기반 분산 SGD 시스템 모두에 대해 기존 수렴 한계를 재유도하거나 향상시킬 수 있는 통합 프레임워크를 제공한다.
• TopK 양자화는 B = √(d/K (d²/K² − 1)) M으로 유연한 일치성 조건을 만족하며, 여기서 d는 모델 차원이고 K는 유지되는 상위 성분 수이다.
• 1비트 양자화는 B = √(d(d² − 1)) M로 유연한 일치성 조건을 만족하여, 현실적인 가정 하에서 이 프레임워크와의 호환성을 입증한다.
• 제안된 노름 제한 유연한 스케줄러는 기준 백바리어 전략 대비 CIFAR-10에서 ResNet18 훈련 시 약 30%의 속도 향상을 달성하였고, 전체 정확도 복구를 보였다.
• 분산 노름 기반 유연한 스케줄러는 다양한 시스템 제약 조건 하에서도 안정적인 수렴을 유지함으로써, 이 접근의 강건성을 확인하였다.
• 5ms 네트워크 지연과 0.2ms 잼프를 가진 두 대의 AWS P3.2xlarge 인스턴스에서의 실증 결과는, 유연한 일치성이 정확도 저하 없이 효율적이고 확장 가능한 딥 컨volution 신경망 훈련을 가능하게 함을 확인하였다.