[논문 리뷰] Tighter Theory for Local SGD on Identical and Heterogeneous Data

Ahmed Khaled, Konstantin Mishchenko외 1명|arXiv (Cornell University)|2019. 09. 10.

Machine Learning and Algorithms참고 문헌 38인용 수 39

한 줄 요약

본 논문은 동일한 데이터와 이질적 데이터 모두에서 Local SGD의 새로운 수렴 분석을 제시하여 더 타이트한 상한, 최적의 스텝사이즈, 최적의 로컬 업데이트 수를 도출하고, 이질적 데이터에 맞춘 분산 척도도 제시한다.

ABSTRACT

We provide a new analysis of local SGD, removing unnecessary assumptions and elaborating on the difference between two data regimes: identical and heterogeneous. In both cases, we improve the existing theory and provide values of the optimal stepsize and optimal number of local iterations. Our bounds are based on a new notion of variance that is specific to local SGD methods with different data. The tightness of our results is guaranteed by recovering known statements when we plug $H=1$, where $H$ is the number of local steps. The empirical evidence further validates the severe impact of data heterogeneity on the performance of local SGD.

연구 동기 및 목표

• 동일한 데이터와 이질적 데이터 체계에서 Local SGD에 대한 이해를 향상시키기.
• Local SGD에 대한 더 빠르고 타이트한 수렴 및 통신 상한을 도출한다.
• Local SGD 분석에서 데이터 이질성을 포착하는 분산 양을 도입한다.
• 다양한 데이터 설정에 대한 최적 동기화 간격(H) 및 스텝사이즈에 대한 지침을 제공한다.

제안 방법

• 동일하고 이질적인 두 데이터 체계로 Local SGD를 모델링하고 이에 대응하는 확률적 기울기를 정의한다.
• 최적점에서의 확률적성 및 데이터 이질성을 정량화하기 위해 새로운 분산 척도 sigma_opt^2 및 sigma_dif^2를 도입한다.
• 평균화된 반복에 대한 재귀 상한을 증명하고 에폭 평균으로부터의 편차 V_t를 분석한다.
• 두 데이터 체계에 대해 강결합성 및 볼록성 하에서 반복 복잡도와 통신 복잡도 결과를 도출한다.
• Local SGD가 H에 의해 제어되는 추가 오차 항까지 minibatch SGD와 일치함을 보이고 H=1 또는 H=T일 때 알려진 결과를 회복한다.
• 로지스틱 회귀에서 이질성 효과를 입증하는 실증 검증을 제공한다.

실험 결과

연구 질문

• RQ1 제한적 가정 없이 동일 데이터에서 Local SGD가 얻을 수 있는 수렴 속도는 무엇인가?
• RQ2 데이터 이질성이 Local SGD 성능에 어떤 영향을 주며, 강한 이질성 가정 없이도 이 영향을 정량화할 수 있는가?
• RQ3 두 데이터 체계에서 계산과 통신의 균형을 맞추는 최적의 스텝사이즈와 동기화 간격 H는 무엇인가?
• RQ4 새로운 분산 개념들이 이질성을 정확히 포착하고 타이트하고 실용적인 상한으로 이어지는가?

주요 결과

• 강결합성에서 동일 데이터 설정에서 Local SGD는 개선된 반복 복잡도를 달성하고 적절한 H에서 선형 속도향상을 보일 수 있다.
• 이질적 데이터 설정에서 Local SGD는 sigma_dif^2를 통해 이질성에 비례하는 추가 오차와 함께 수렴하여 진짜 데이터 차이를 포착한다.
• 최적점에서의 확률적성 및 데이터 다양성을 정량화하기 위한 새로운 분산 척도 sigma_opt^2(동일 데이터)와 sigma_dif^2(이질적 데이터)가 제안된다.
• 해당 분석은 H가 클 때 원샷 평균화 동작을 회복하고 H가 여분 오차 항을 어떻게 제어하는지 보이며, 적절한 조정으로 minibatch SGD 수렴을 회복한다.
• 실험적으로 이질성이 수렴 속도에 크게 영향을 미치며 Local SGD에서 데이터 다양성의 이론적 영향을 검증한다.