[논문 리뷰] Optimal Accelerated Variance Reduced EXTRA and DIGing for Strongly Convex and Smooth Decentralized Optimization

Huan Li, Zhouchen Lin외 1명|arXiv (Cornell University)|2020. 09. 09.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 15

한 줄 요약

이 논문은 분산학습을 위한 EXTRA 및 DIGing 알고리즘의 가속화된 분산 감소 변종을 제안하여, 동시에 최적의 확률적 경사하강 및 통신 복잡도를 달성한다. 분산 최적화에 분산 감소를 통합함으로써, 이 방법들은 최고의 단일 머신 VR 성능과 최고의 전반적 배치 분산 통신 효율성을 재현한다.

ABSTRACT

We study stochastic decentralized optimization for the problem of training machine learning models with large-scale distributed data. We extend the famous EXTRA and DIGing methods with accelerated variance reduction (VR), and propose two methods, which require the time of $O((\sqrt{n\kappa_s}+n)\log\frac{1}{\epsilon})$ stochastic gradient evaluations and $O(\sqrt{\kappa_b\kappa_c}\log\frac{1}{\epsilon})$ communication rounds to reach precision $\epsilon$, where $\kappa_s$ and $\kappa_b$ are the stochastic condition number and batch condition number for strongly convex and smooth problems, $\kappa_c$ is the condition number of the communication network, and $n$ is the sample size on each distributed node. Our stochastic gradient computation complexity is the same as the single-machine accelerated variance reduction methods, such as Katyusha, and our communication complexity is the same as the accelerated full batch decentralized methods, such as MSDA, and they are both optimal. We also propose the non-accelerated VR based EXTRA and DIGing, and provide explicit complexities, for example, the $O((\kappa_s+n)\log\frac{1}{\epsilon})$ stochastic gradient computation complexity and the $O((\kappa_b+\kappa_c)\log\frac{1}{\epsilon})$ communication complexity for the VR based EXTRA. The two complexities are also the same as the ones of single-machine VR methods, such as SAG, SAGA, and SVRG, and the non-accelerated full batch decentralized methods, such as EXTRA, respectively.

연구 동기 및 목표

• 대규모 머신러닝을 위한 분산 확률적 최적화에서 최적의 수렴 속도를 달성하는 데 도전하는 것.
• 단일 머신에서의 가속화된 분산 감소와 분산 전체 배치 방법 사이의 격차를 해소하기 위해 양측의 장점을 융합하는 것.
• 동시에 최적의 확률적 경사하강 평가 및 통신 복잡도를 달성하는 새로운 분산 알고리즘을 설계하는 것.
• VR 기반 EXTRA 및 DIGing의 가속화 및 비가속화 변종에 대한 명시적 복잡도 경계를 제공하는 것.

제안 방법

• 분산 감소 기법을 활용해 EXTRA 및 DIGing을 확장하여 AVRG-EXTRA 및 AVRG-DIGing을 제안한다.
• 분산 환경에서 운동량과 분산 감소를 융합하는 새로운 가속화 메커니즘을 도입한다.
• 시간에 따라 변화하는 스텝 사이즈와 경사 추적을 사용하여 분산 네트워크에서 수렴을 안정화시킨다.
• 조건수 $κ_s$ (확률적), $κ_b$ (배치), $κ_c$ (네트워크 통신)를 사용하여 이론적 경계를 유도한다.
• 로컬 경사하강 계산과 글로벌 일치를 가중 평균을 통해 균형 잡는 하이브리드 업데이트 규칙을 활용한다.
• 가속화 및 비가속화 변종을 모두 분석하여 각각에 대해 별도의 복잡도 보장을 제공한다.

실험 결과

연구 질문

• RQ1 분산 감소가 분산 최적화와 효과적으로 융합되어 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 AVRG-EXTRA 및 AVRG-DIGing 방법이 단일 머신에서의 가속화된 VR 방법의 최고 성능 복잡도를 충족하는가?
• RQ3 새로운 방법의 통신 복잡도가 MSDA와 같은 전체 배치 가속화된 분산 알고리즘의 복잡도를 충족하는가?
• RQ4 분산 VR 환경에서 확률적 경사하강 평가와 통신 라운드 사이의 명시적 상충 관계는 무엇인가?
• RQ5 비가속화 변종은 SAG, SAGA, EXTRA 및 SVRG와 같은 전통적 방법에 비해 복잡도 측면에서 어떻게 비교되는가?

주요 결과

• 가속화된 VR 기반 EXTRA 및 DIGing은 $O((\sqrt{n\kappa_s}+n)\log\frac{1}{\epsilon})$의 확률적 경사하강 평가를 달성하여 단일 머신에서의 Katyusha 성능을 일치시킨다.
• 통신 복잡도는 $O(\sqrt{\kappa_b\kappa_c}\log\frac{1}{\epsilon})$로, MSDA와 같은 전체 배치 가속화 방법의 최적 속도를 일치시킨다.
• 비가속화된 VR 기반 EXTRA는 $O((\kappa_s+n)\log\frac{1}{\epsilon})$의 확률적 경사하강 평가를 달성하여 SAG, SAGA 및 SVRG와 일치한다.
• 비가속화된 VR 기반 EXTRA는 $O((\kappa_b+\kappa_c)\log\frac{1}{\epsilon})$의 통신 라운드를 달성하여 원래의 EXTRA 방법의 복잡도를 일치시킨다.
• 가속화 및 비가속화 변종 모두에서 경사하강 평가 및 통신 복잡도 측면에서 최적의 복잡도를 달성하여 새로운 이론적 기준을 설정한다.
• 제안된 방법은 분산 강력 볼록 및 미분 가능한 최적화에서 동시에 최적의 확률적 및 통신 복잡도를 달성하는 최초의 방법이다.