[논문 리뷰] Stochastic Gradient Push for Distributed Deep Learning

Mahmoud Assran, Nicolas Loizou외 2명|arXiv (Cornell University)|2018. 11. 27.

Stochastic Gradient Optimization Techniques인용 수 137

한 줄 요약

본 논문은 PushSum 가십과 확률적 그래디언트 업데이트를 결합한 분산 딥러닝 용 Stochastic Gradient Push(SGP)를 제안하고, 정점(노드) 합의와 정지점(stationary point)으로의 수렴을 입증하며, 대규모 비전 및 번역 과제에서의 실험적 검증을 제공합니다.

ABSTRACT

Distributed data-parallel algorithms aim to accelerate the training of deep neural networks by parallelizing the computation of large mini-batch gradient updates across multiple nodes. Approaches that synchronize nodes using exact distributed averaging (e.g., via AllReduce) are sensitive to stragglers and communication delays. The PushSum gossip algorithm is robust to these issues, but only performs approximate distributed averaging. This paper studies Stochastic Gradient Push (SGP), which combines PushSum with stochastic gradient updates. We prove that SGP converges to a stationary point of smooth, non-convex objectives at the same sub-linear rate as SGD, and that all nodes achieve consensus. We empirically validate the performance of SGP on image classification (ResNet-50, ImageNet) and machine translation (Transformer, WMT'16 En-De) workloads. Our code will be made publicly available.

연구 동기 및 목표

• 스트래글러(stragglers) 및 지연 하에서의 동기식 방법에서의 정확한 분산 평균화의 비효율성을 해결한다.
• 확률적 그래디언트 업데이트를 수행하면서 합의를 달성하는 분산 최적화 알고리즘을 개발한다.
• 비볼록 설정에서 정적점으로의 수렴에 대한 이론적 보장과 부분선형 수렴률을 제공한다.
• 대규모 컴퓨터 비전 및 자연어 처리 워크로드에서 실용적 효과를 입증한다.

제안 방법

• PushSum 기반 가십과 확률적 그래디언트 업데이트를 통합하여 Stochastic Gradient Push(SGP) 알고리즘을 형성한다.
• 통신 지연과 가상 노드를 고려하기 위해 지연 인식 혼합 행렬을 보강하여 네트워크를 모델링한다.
• 지연된 노드들에 걸친 편향 제거된 매개변수 추적과 보강된 행렬을 사용한 SGP 업데이트의 전역적 관점을 제공한다.
• 매끄러운 비볼록 목적함수의 정적점으로의 수렴과 모든 노드 간 합의를 부분선형 속도로 보장한다.
• ImageNet에서의 ResNet-50 및 WMT’16 En-De 워크로드의 Transformer에 대해 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 지연이 존재하는 상황에서 확률적 그래디언트 업데이트를 수행하면서 Stochastic Gradient Push가 분산 노드 간 합의에 도달할 수 있는가?
• RQ2 표준 SGD 또는 완전 동기식 방법과 비교하여 비볼록 목적함수에 대한 SGP의 수렴 보장은 무엇인가?
• RQ3 분산 딥러닝 환경에서 PushSum의 통신 지연 강건성이 확률적 그래디언트와 결합될 때 보존되는가?
• RQ4 실용 벤치마크(비전 및 번역 과제)가 기존 비동기 또는 동기 분산 방법에 비해 경쟁력 있는 성능을 보이는가?

주요 결과

• SGP는 SGD와 동일한 부분선형 속도로 매끄러운 비볼록 목적함수의 정적점으로 수렴한다.
• 제안된 지연 인식 보강 프레임워크 하에서 모든 노드가 합의에 도달한다.
• 실험적 검증은 이미지 분류(ResNet-50/ImageNet)와 기계 번역(Transformer/WMT'16 En-De) 워크로드에서 효과를 입증한다.