[논문 리뷰] MixML: A Unified Analysis of Weakly Consistent Parallel Learning

Yucheng Lu, J. Gregory Nash외 1명|arXiv (Cornell University)|2020. 05. 14.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 4

한 줄 요약

MixML는 혼합 시간 $t_{\text{mix}}$를 통한 통신 모델링을 통해 약하게 일관된 병렬 기계학습을 분석하는 통합 프레임워크를 제안한다. 이는 수렴 경계를 오직 이 파rameter에만 의존하게 하여, 비동기 및 분산 설정에서 SGD, AMSGrad, RMSProp에 대한 기존 경계를 일반화하고 향상시킨다.

ABSTRACT

Parallelism is a ubiquitous method for accelerating machine learning algorithms. However, theoretical analysis of parallel learning is usually done in an algorithm- and protocol-specific setting, giving little insight about how changes in the structure of communication could affect convergence. In this paper we propose MixML, a general framework for analyzing convergence of weakly consistent parallel machine learning. Our framework includes: (1) a unified way of modeling the communication process among parallel workers; (2) a new parameter, the mixing time tmix, that quantifies how the communication process affects convergence; and (3) a principled way of converting a convergence proof for a sequential algorithm into one for a parallel version that depends only on tmix. We show MixML recovers and improves on known convergence bounds for asynchronous and/or decentralized versions of many algorithms, includingSGD and AMSGrad. Our experiments substantiate the theory and show the dependency of convergence on the underlying mixing time.

연구 동기 및 목표

• 약하게 일관된 병렬 학습 시스템에서 수렴을 분석하기 위한 통합 이론적 프레임워크의 부재를 해결한다.
• 기존 수렴 분석에서 프로토콜에 종속된 가정으로 인해 비교 및 재사용이 어려운 문제를 해결한다.
• 혼합 시간 $t_{\text{mix}}$만을 사용하여 순차적 수렴 증명을 병렬 버전으로 변환할 수 있는 일반적인 방법을 개발한다.
• 시스템 세부 사항(하드웨어 또는 네트워크 토폴로지)과 무관하게 통신 구조가 수렴에 미치는 영향을 원칙적으로 측정할 수 있는 방법을 제공한다.

제안 방법

• 병렬 학습에서의 통신를 상태 전이의 시퀀스로 추상화하는 일반적 프레임워크인 MixML을 도입한다.
• 혼합 시간 $t_{\text{mix}}$를 정의하여 워커들이 일관성에 도달하는 데 걸리는 시간을 측정하며, 마르코프 체인 이론에서 유래한다.
• 수렴 경계가 오직 $t_{\text{mix}}$에만 의존하는 통합된 수렴 분석을 제안하며, 계산과 통신 세부 사항을 분리한다.
• $t_{\text{mix}}$를 사용하여 기존 순차적 수렴 증명을 병렬 버전으로 변환하는 변환 방법을 제안한다.
• SGD, AMSGrad, RMSProp과 같은 표준 최적화 알고리즘에 프레임워크를 적용하여 새로운 또는 향상된 수렴 경계를 도출한다.
• 통신 빈도를 감소시키거나 슬랙 행렬 조정을 통해 $t_{\text{mix}}$를 변화시켜 이론을 실험적으로 검증하는 실험을 설계한다.

실험 결과

연구 질문

• RQ1 다양한 통신 프로토콜이 약하게 일관된 병렬 학습의 수렴에 미치는 영향을 한 개의 통합된 파rameter가 효과적으로 캡처할 수 있는가?
• RQ2 혼합 시간 $t_{\text{mix}}$는 SGD 및 AMSGrad와 같은 병렬 최적화 알고리즘의 수렴 속도와 어떻게 관련이 있는가?
• RQ3 기존 순차 알고리즘에 대한 수렴 증명을 $t_{\text{mix}}$만을 사용하여 체계적으로 병렬 환경에 적응시킬 수 있는가?
• RQ4 중앙집중식, 분산식, 동기식, 비동기식과 같은 다양한 통신 프로토콜은 혼합 시간과 수렴에 어떻게 영향을 미치는가?
• RQ5 수치 정밀도가 파라미터 스케일링(예: 슬랙 행렬 방법)을 통한 혼합 시간 조정의 실용성에 어느 정도 제한을 가하는가?

주요 결과

• 혼합 시간 $t_{\text{mix}}$는 통신 프로토콜이 수렴에 미치는 영향을 효과적으로 측정하며, $t_{\text{mix}}$가 클수록 일관성 도달과 수렴 속도가 느려진다.
• 특히 큰 값에서의 수치 오차를 감안할 때, 통신 빈도 감소는 슬랙 행렬 방법보다 더 강건한 $t_{\text{mix}}$ 증가 방법이다.
• 슬랙 행렬 방법을 통해 $t_{\text{mix}}$를 1000배로 증가시킬 경우, 수치 정밀도 문제(예: 1e-9 이하의 업데이트)로 인해 학습이 불안정해진다.
• 프레임워크는 이질적 비동기 및 분산 SGD 및 AMSGrad 버전에 대해 알려진 수렴 경계를 복원하고 향상시킨다.
• CIFAR-10에서 ResNet20을 학습한 실험 결과, $t_{\text{mix}}$가 증가할수록 수렴 속도가 떨어지는 것으로 확인되어 이론적 의존성에 대한 검증이 이루어졌다.
• 시험된 프로토콜들 중에서, AsyncDR(비동기 분산 린)는 워커 수 증가에 따라 $t_{\text{mix}}$가 가장 빠르게 증가하는 경향을 보이며, 이는 높은 통신 지연을 반영한다.