[논문 리뷰] Variance Reduced Local SGD with Lower Communication Complexity

Xianfeng Liang, Shuheng Shen외 4명|arXiv (Cornell University)|2019. 12. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 89

한 줄 요약

VRL-SGD는 Local SGD에 분산 비동일 데이터 학습에서 분산 감소를 도입하여 통신량을 줄이고, 더 낮은 통신 복잡도와 선형 반복 속도향상을 달성한다.

ABSTRACT

To accelerate the training of machine learning models, distributed stochastic gradient descent (SGD) and its variants have been widely adopted, which apply multiple workers in parallel to speed up training. Among them, Local SGD has gained much attention due to its lower communication cost. Nevertheless, when the data distribution on workers is non-identical, Local SGD requires $O(T^{\frac{3}{4}} N^{\frac{3}{4}})$ communications to maintain its \emph{linear iteration speedup} property, where $T$ is the total number of iterations and $N$ is the number of workers. In this paper, we propose Variance Reduced Local SGD (VRL-SGD) to further reduce the communication complexity. Benefiting from eliminating the dependency on the gradient variance among workers, we theoretically prove that VRL-SGD achieves a \emph{linear iteration speedup} with a lower communication complexity $O(T^{\frac{1}{2}} N^{\frac{3}{2}})$ even if workers access non-identical datasets. We conduct experiments on three machine learning tasks, and the experimental results demonstrate that VRL-SGD performs impressively better than Local SGD when the data among workers are quite diverse.

연구 동기 및 목표

• 비동일한 데이터 분포 하에서 분산 SGD의 가속화를 촉진하여 통신 비용을 줄이는 것을 목표로 한다.
• 추가 가정 없이 워커 간 기울기 분산을 완화하는 Local SGD 변형을 개발한다.
• 감소된 통신으로 이론적 수렴 보장과 선형 속도 향상을 확립한다.
• 비동일 데이터 분포를 갖는 표준 ML 과제에서 실용적 효용성을 입증한다.

제안 방법

• 로컬 그라디언트를 전역 그라디언트와 정렬하기 위한 분산 감소 구성요소를 갖는 Local SGD 변형인 VRL-SGD를 도입한다.
• 통신 주기 간의 글로벌 그라디언트 차이를 근사하기 위해 Delta_i라는 기울기 보정 항을 계산한다.
• Delta_i로 보정된 확률적 기울기로 로컬 모델을 업데이트하여 워커 간 분산을 줄인다.
• 통신 사이에 k단계의 로컬 업데이트를 허용하여 통신 라운드를 줄인다.
• 이론적 수렴 분석을 제공하여 O(T^{-1/2}N^{-1/2}) 속도와 개선된 통신 복잡도를 보인다.
• 비동일 데이터 시나리오에서 VRL-SGD가 통신 복잡도를 O(T^{3/4}N^{3/4})에서 O(T^{1/2}N^{3/2})로 감소시킴을 보인다.

실험 결과

연구 질문

• RQ1 비동일 데이터에서 Local SGD의 워커 간 기울기 분산 의존성을 분산 감소가 제거할 수 있는가?
• RQ2 VRL-SGD가 Local SGD 및 S-SGD에 비해 얻는 통신 복잡도 및 반복 속도향상은 어느 정도인가?
• RQ3 VRL-SGD의 수렴 보장이 비볼록 목표 및 동일 데이터 시나리오로 확장되는가?
• RQ4 비동일 데이터 작업(이미지, 텍스트, 전이 학습)에서 VRL-SGD의 실험적 성능은 어떤가?

주요 결과

• 비동일 데이터에 대해 VRL-SGD는 통신 복잡도 O(T^{1/2}N^{3/2})로 선형 반복 속도향상을 달성한다.
• 선행 Local SGD 분석에서 사용된 바운드된 기울기 분산 또는 동일 데이터 가정을 필요로 하지 않는다.
• MNIST, DBPedia, 및 tiny ImageNet에 대한 실험 결과에서 데이터가 비동일할 때 VRL-SGD가 Local SGD보다 우수하며 데이터가 동일할 때 S-SGD/Local SGD와 비슷하다.
• 적절한 학습률 및 통신 기간 설정으로 비볼록 목적에서 수렴속도 O(1/√(NT))를 보인다.
• 웜업 변형(VRL-SGD-W)은 비 iid 초기화(C 항)에 대한 의존성을 줄이고 수렴을 더 촘촘하게 한다.