[논문 리뷰] Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols

Siddharth Pramod|arXiv (Cornell University)|2018. 12. 06.

Reinforcement Learning in Robotics참고 문헌 23인용 수 4

한 줄 요약

이 논문은 신경망 학습을 분산시키는 데 있어 이질적 환경에서의 높은 통신 비용 문제를 해결하기 위해 비동기적이고 쌍방향 파라미터 평균화를 허용함으로써 통신 오버헤드를 줄이는 새로운 가소성 있는 가소(gossip)-유사 프로토콜인 Elastic Gossip를 제안한다. Gossiping SGD에 비해 적응형 이동률을 도입함으로써, 전체 수신기 All-reduce SGD와 유사한 성능를 달성하면서도 상당히 낮은 대역폭 사용량을 기록한다. 특히 MLP 및 CNN을 사용한 MNIST 및 CIFAR-10 벤치마크에서 성능이 뛰어나다.

ABSTRACT

Distributing Neural Network training is of particular interest for several reasons including scaling using computing clusters, training at data sources such as IOT devices and edge servers, utilizing underutilized resources across heterogeneous environments, and so on. Most contemporary approaches primarily address scaling using computing clusters and require high network bandwidth and frequent communication. This thesis presents an overview of standard approaches to distribute training and proposes a novel technique involving pairwise-communication using Gossip-like protocols, called Elastic Gossip. This approach builds upon an existing technique known as Elastic Averaging SGD (EASGD), and is similar to another technique called Gossiping SGD which also uses Gossip-like protocols. Elastic Gossip is empirically evaluated against Gossiping SGD using the MNIST digit recognition and CIFAR-10 classification tasks, using commonly used Neural Network architectures spanning Multi-Layer Perceptrons (MLPs) and Convolutional Neural Networks (CNNs). It is found that Elastic Gossip, Gossiping SGD, and All-reduce SGD perform quite comparably, even though the latter entails a substantially higher communication cost. While Elastic Gossip performs better than Gossiping SGD in these experiments, it is possible that a more thorough search over hyper-parameter space, specific to a given application, may yield configurations of Gossiping SGD that work better than Elastic Gossip.

연구 동기 및 목표

• 대규모 및 이질적인 환경에서 분산 SGD의 높은 통신 비용 문제를 해결하기 위해.
• Gossiping SGD와 같은 기존의 가소 기반 학습 방법을 개선하기 위해 동적 이동률 메커니즘을 도입하기 위해.
• 가소 유사 프로토콜이 전체 수신기 All-reduce SGD와 유사한 성능를 달성하면서도 네트워크 대역폭 사용을 최소화할 수 있는지 평가하기 위해.
• 제한된 대역폭을 가진 탈중앙화 또는 프라이버시 민감한 환경에서 깊은 신경망을 효율적으로 학습시킬 수 있는지 탐색하기 위해.

제안 방법

• 작업자들이 무작위로 피어를 선택하여 모델 파라미터를 교환하고 평균화하는 쌍방향 통신 모델을 사용한다.
• Elastic Averaging SGD(EASGD)를 확장하여 파라미터 평균화 정도를 제어하는 이동률 α를 도입함으로써 적응형 수렴을 가능하게 한다.
• 각 작업자는 로컬 SGD 업데이트를 수행하고, 랜덤하게 선택된 피어와 주기적으로 동기화하며, 네트워크 혼잡을 방지하기 위해 이항분포를 따르는 통신 확률 p를 사용한다.
• 더 빠른 수렴을 위해 Nesterov의 가속 경사하강법(NAG)을 통합하고, 통신 이전에 동기화를 보장하기 위해 공유된 시계를 사용한다.
• 알고리즘은 α에 의해 제어되는 가중치 평균을 통해 로컬 및 피어 파라미터를 동적으로 업데이트한다.
• 확률적 트리거(p)를 통해 통신를 학습 단계에서 분리함으로써 네트워크 부담을 줄이고 모델 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 가소 유사 프로토콜이 통신 오버헤드를 크게 줄이면서도 All-reduce SGD와 유사한 학습 성능를 달성할 수 있는가?
• RQ2 Elastic Gossip의 이동률 α는 수렴 속도와 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 동일한 초모수 설정과 데이터셋에서 Elastic Gossip가 Gossiping SGD를 능가하는가?
• RQ4 통신 확률 p와 작업자 수는 가소 기반 학습의 성능에 어떤 영향을 미치는가?
• RQ5 제한된 대역폭을 가진 이질적 또는 탈중앙화 환경에서 Elastic Gossip는 어느 정도 확장 가능한가?

주요 결과

• Elastic Gossip는 MNIST에서 98.65%의 테스트 정확도, CIFAR-10에서 87.4%의 테스트 정확도를 달성하여 All-reduce SGD와 유사하거나 略로 뛰어난 성능를 보였다.
• 모든 테스트 설정에서 Elastic Gossip는 Gossiping SGD를 능가했으며, 특히 낮은 통신 확률에서 두드러진 성능 향상을 보였다.
• 최적의 이동률 α는 0.5로 확인되었으며, 이는 낮은(0.1) 또는 높은(0.9) 값에서 성능 저하가 발생했음을 의미한다.
• 통신 확률 p는 상당한 영향을 미쳤다: p가 0.125 이하로 떨어지면 성능이 저하되었으며(효율적 주기 τ = 8), 이는 대역폭과 수렴 사이의 상충 관계를 시사한다.
• 쌍방향 통신만을 사용했음에도 불구하고, Elastic Gossip는 전체 수신기 All-reduce SGD와 유사한 성능를 달성했으며, 이는 전체 동기화와 고대역폭 조정이 필요하다.
• 결과적으로 Elastic Gossip는 대역폭 제약이 있는 또는 탈중앙화된 학습 환경에서 All-reduce SGD의 실용적인 대안이 될 수 있음을 시사한다.