[논문 리뷰] Local AdaAlter: Communication-Efficient Stochastic Gradient Descent with Adaptive Learning Rates

Cong Xie, Oluwasanmi Koyejo외 2명|arXiv (Cornell University)|2019. 11. 20.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 21

한 줄 요약

이 논문은 지역적 SGD와 지연 업데이트를 통한 적응형 학습률을 융합한 통신 효율적인 확률적 경사 하강법인 Local AdaAlter을 제안한다. 모델 파라미터는 주기적으로 동기화하면서 적응형 변수는 게으르게 업데이트함으로써 통신 오버헤드를 줄이고, 1B 단어 데이터셋에서 최대 30% 빠른 훈련을 달성한다. 비볼록 문제에 대해서도 이론적 수렴 보장을 제공한다.

ABSTRACT

When scaling distributed training, the communication overhead is often the bottleneck. In this paper, we propose a novel SGD variant with reduced communication and adaptive learning rates. We prove the convergence of the proposed algorithm for smooth but non-convex problems. Empirical results show that the proposed algorithm significantly reduces the communication overhead, which, in turn, reduces the training time by up to 30% for the 1B word dataset.

연구 동기 및 목표

• 적응형 학습률 방법(예: AdaGrad)을 사용할 경우 발생하는 높은 통신 오버헤드 문제를 해결하기 위해.
• 동기화 라운드까지 적응형 변수 업데이트를 지연시키는 새로운 메커니즘을 도입하여 적응형 SGD에서 통신 효율성을 확보하기 위해.
• glat, 비볼록 최적화 문제에 대해 제안된 방법의 수렴을 이론적으로 증명하기 위해.
• 대규모 분산 환경에서 통신 비용과 훈련 시간을 줄이는 것이 실제로 가능함을 경험적으로 검증하기 위해.

제안 방법

• 통신 라운드까지 적응형 변수 $ B_t^2 $에 대한 업데이트를 지연시키는 AdaGrad의 변종인 Local AdaAlter을 제안한다. $ B_t^2 $는 이전 기울기의 누적값을 저장한다.
• 작업자들이 동기화 전에 다수의 스텝 동안 기울기를 독립적으로 계산하고 모델 파라미터를 업데이트하는 지역적 업데이트 전략을 도입한다.
• 작업자 간에 모델 파라미터를 주기적으로 평균화하지만, 적응형 변수는 동기화 간격에서만 업데이트한다.
• 지연된 업데이트를 고려한 스탤nees 인식 업데이트 규칙을 활용하여, 적응형 변수 $ B_t^2 $는 통신 라운드에서만 업데이트되며, 이로 인해 통신 빈도가 감소한다.
• 이론적 분석을 통해 표준 부드러움 및 유한 기울기 가정 하에 비볼록 목표 함수에 대해 수렴함을 보였다.
• 이 방법은 적응형 학습률의 이점을 유지하면서도 동기화 횟수를 크게 줄였다.

실험 결과

연구 질문

• RQ1 AdaGrad와 같은 적응형 학습률 방법을 지역적 SGD와 효과적으로 융합하여 분산 훈련에서 통신 오버헤드를 줄일 수 있는가?
• RQ2 비볼록 최적화 하에서 적응형 학습률을 갖는 지역적 SGD 변종의 이론적 수렴 행동은 어떠한가?
• RQ3 적응형 변수 업데이트를 지연시키는 것이 수렴 속도와 통신 효율성에 어떤 영향을 미치는가?
• RQ4 이 방법은 대규모 NLP 작업에서 훈련 시간과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 실제 데이터셋에서 통신 빈도를 최대 30% 감소시키면서도 수렴 보장을 유지할 수 있는가?

주요 결과

• Local AdaAlter는 표준 적응형 SGD 대비 통신 오버헤드를 최대 30% 줄여, 1B 단어 데이터셋에서 훈련 시간을 크게 단축시켰다.
• 이론적 분석을 통해 부드럽고 비볼록 문제에 대해 수렴함을 확인하였으며, 수렴 속도는 지역 스텝 수와 통신 빈도에 따라 달라진다.
• 이 방법은 적응형 학습률의 이점을 유지하면서도 동기화 빈도를 크게 줄여 대규모 분산 훈련에 적합하다.
• 경험적 결과는 알고리즘이 더 적은 통신 횟수로도 비교적 또는 더 높은 모델 정확도를 달성함을 보여준다.
• 수렴 경계는 초기 적응형 변수 $ b_0^2 $, 학습률 $ \eta $, 그리고 지역 스텝 수 $ H $에 의존하며, 명시적인 의존성은 $ \sqrt{b_0^2 + T \epsilon^2 / p^2} $ 에서 나타난다.