[논문 리뷰] Deep learning with Elastic Averaging SGD

Sixin Zhang, Anna Choromanska외 1명|arXiv (Cornell University)|2014. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 67

한 줄 요약

이 논문은 분산 환경에서 딥러닝을 위한 통신 효율적인 확률적 최적화 알고리즘인 유연 평균 경사하강법(Elastic Averaging SGD, EASGD)을 제안한다. 지역 작업자 파라미터와 중심 변수를 연결하는 유연한 힘을 도입함으로써, 손실 함수의 탐색 범위를 넓힐 수 있게 되어 수렴 속도 향상과 일반화 성능 향상이 가능해지며, 이는 CIFAR-10 및 ImageNet에서 최신 기술 수준의 속도 향상을 보여주며 통신 오버헤드를 줄였다.

ABSTRACT

We study the problem of stochastic optimization for deep learning in the parallel computing environment under communication constraints. A new algorithm is proposed in this setting where the communication and coordination of work among concurrent processes (local workers), is based on an elastic force which links the parameters they compute with a center variable stored by the parameter server (master). The algorithm enables the local workers to perform more exploration, i.e. the algorithm allows the local variables to fluctuate further from the center variable by reducing the amount of communication between local workers and the master. We empirically demonstrate that in the deep learning setting, due to the existence of many local optima, allowing more exploration can lead to the improved performance. We propose synchronous and asynchronous variants of the new algorithm. We provide the stability analysis of the asynchronous variant in the round-robin scheme and compare it with the more common parallelized method ADMM. We show that the stability of EASGD is guaranteed when a simple stability condition is satisfied, which is not the case for ADMM. We additionally propose the momentum-based version of our algorithm that can be applied in both synchronous and asynchronous settings. Asynchronous variant of the algorithm is applied to train convolutional neural networks for image classification on the CIFAR and ImageNet datasets. Experiments demonstrate that the new algorithm accelerates the training of deep architectures compared to DOWNPOUR and other common baseline approaches and furthermore is very communication efficient.

연구 동기 및 목표

• 제한된 대역폭 조건에서 분산 딥러닝 학습의 통신 병목 현상을 해결하기 위해.
• 파라미터의 탄성으로 손실 함수의 탐색 범위를 넓혀 최적화 성능을 향상시키기 위해.
• 기존 방법들인 DOWNPOUR 및 ADMM보다 빠른 속도와 통신 효율성을 확보하는 안정적이고 확장 가능한 알고리즘을 설계하기 위해.
• 알고리즘의 비동기 버전에 대한 이론적 안정성 보장을 제공하기 위해.
• CIFAR-10 및 ImageNet과 같은 대규모 이미지 분류 벤치마크에서 실용적 효과를 입증하기 위해.

제안 방법

• EASGD는 지역 작업자와 중심 변수를 연결하는 유연한 힘을 도입하며, 이는 목적 함수에 이차 페널티 항으로 모델링된다.
• 알고리즘은 이중 업데이트 규칙을 사용한다: 지역 작업자들은 확률적 경사와 중심 변수로부터의 이탈에 기반해 파라미터를 업데이트하고, 중심 변수는 지역 이탈의 가중 이동 평균으로 업데이트된다.
• 핵심 업데이트 식은 다음과 같다: $ x^{i}_{t+1} = x^{i}_{t} - \eta(g^{i}_{t} + \rho(x^{i}_{t} - \tilde{x}_{t})) $ 및 $ \tilde{x}_{t+1} = \tilde{x}_{t} + \eta \sum_{i=1}^{p} \rho(x^{i}_{t} - \tilde{x}_{t}) $, 여기서 $ \rho $ 는 탄성 정도를 제어한다.
• 알고리즘은 동기 및 비동기 학습 모드를 모두 지원하며, 수렴 속도 향상을 위해 운동량 기반 변형도 제공한다.
• 통신 주기 $ \tau $ 를 통해 지역 작업자들이 중심과 동기화하기 전에 다수의 반복을 수행하도록 하여 통신 빈도를 감소시킨다.
• 알고리즘은 Torch에 구현되었으며 GPU-CPU 통신을 위해 MVAPICH2를 사용하였으며, ResNet 및 AlexNet 아키텍처를 사용해 CIFAR-10 및 ImageNet에서 평가되었다.

실험 결과

연구 질문

• RQ1 분산 SGD 학습에서 통신 빈도를 줄이면 수렴 속도와 모델 성능 향상에 기여하는가?
• RQ2 지역 파라미터와 중심 파라미터 사이에 유연한 힘을 도입하면 딥러닝에서 탐색 범위가 넓어지고 일반화 성능 향상이 이루어지는가?
• RQ3 동일한 라운드로빈 통신 방식에서 EASGD의 안정성은 ADMM보다 어떻게 비교되는가?
• RQ4 EASGD의 비동기 버전은 실제 통신 제약 조건 하에서도 수렴성과 안정성을 유지할 수 있는가?
• RQ5 EASGD는 DOWNPOUR 및 MSGD와 같은 기준 방법에 비해 훈련 속도와 테스트 정확도 측면에서 얼마나 뛰어난가?

주요 결과

• EASGD는 CIFAR-10 및 ImageNet에서 DOWNPOUR 및 기타 기준 방법보다 더 빠른 수렴 속도를 보였으며, 동일한 테스트 오차 수준에 도달하는 데까지 벽시계 시간 기준 최대 2.5배의 속도 향상을 기록했다.
• 통신 주기 $ \tau = 10 $ 인 경우, 파라미터 통신 시간은 총 훈련 시간(1254–1323초)에 비해 무시할 만큼 작아졌으며(1–11초), 통신 오버헤드가 크게 감소했다.
• 비동기 EAMSGD 변형이 가장 뛰어난 성능을 보였으며, CIFAR-10 및 ImageNet 양쪽 모두에서 목표 테스트 오차 수준에 도달하는 데 다른 모든 방법보다 더 짧은 벽시계 시간을 소요했다.
• EASGD는 라운드로빈 방식에서도 안정적인 수렴을 보였으며, 단순 조건을 만족하면 안정성이 보장되었고, ADMM와 달리 이러한 보장이 없었다.
• 운동량 기반 EASGD 변형은 특히 비동기 설정에서 수렴 속도와 일반화 성능 향상을 개선했으며, 각 지역 작업자의 시계 기반으로 학습률 감소 전략을 적용하였다.
• p=16 명의 작업자일 경우, EASGD는 통신 빈도를 줄여도 높은 테스트 정확도를 유지했으며, 통신 지연에 대해 강건하고 효율적으로 확장되는 것으로 나타났다.