[논문 리뷰] Faster Convergence of Local SGD for Over-Parameterized Models

Tiancheng Qin, S. Rasoul Etesami외 1명|arXiv (Cornell University)|2022. 01. 30.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 비균일한 데이터 하에서 과다파rameter화된 모델에서 Local SGD의 더 빠른 수렴 속도를 확립한다. 강력한 볼록 손실에 대해 지수 수렴($\mathcal{O}(\exp(-T))$)을 증명하고, 가벼운 데이터 유사성 조건 하에서 일반 볼록 손실에 대해 $\mathcal{O}(1/T)$ 수렴 속도를 확보하며, 이는 이전의 $\mathcal{O}(\exp(-T/K))$ 및 일반/비볼록 케이스에 대해 알려진 수렴 속도가 없는 것보다 크게 향상된 것이다.

ABSTRACT

Modern machine learning architectures are often highly expressive. They are usually over-parameterized and can interpolate the data by driving the empirical loss close to zero. We analyze the convergence of Local SGD (or FedAvg) for such over-parameterized models in the heterogeneous data setting and improve upon the existing literature by establishing the following convergence rates. For general convex loss functions, we establish an error bound of $Ø(1/T)$ under a mild data similarity assumption and an error bound of $Ø(K/T)$ otherwise, where $K$ is the number of local steps and $T$ is the total number of iterations. For non-convex loss functions we prove an error bound of $Ø(K/T)$. These bounds improve upon the best previous bound of $Ø(1/\sqrt{nT})$ in both cases, where $n$ is the number of nodes, when no assumption on the model being over-parameterized is made. We complete our results by providing problem instances in which our established convergence rates are tight to a constant factor with a reasonably small stepsize. Finally, we validate our theoretical results by performing large-scale numerical experiments that reveal the convergence behavior of Local SGD for practical over-parameterized deep learning models, in which the $Ø(1/T)$ convergence rate of Local SGD is clearly shown.

연구 동기 및 목표

• 비균일한 데이터 하에서 과다파라미터화된 모델에서 Local SGD의 이론적 수렴 보장에 대한 격차를 해결하기 위해.
• 대규모 딥 러닝에서 Minibatch SGD에 비해 Local SGD가 더 빠른 경험적 수렴을 보이는 이유를 설명하기 위해.
• 현대 과다파라미터화된 모델에서 흔한 해석 가정 하에서 더 날카운 수렴 속도를 확립하기 위해.
• 실제 및 합성 데이터를 사용한 대규모 수치 실험을 통해 이론적 결과를 검증하기 위해.
• 작은 스텝 사이즈 설정 하에서 문제 사례를 통해 유도된 경계의 날카러움을 보여주기 위해.

제안 방법

• 실제 손실이 0으로 낮아질 수 있는 해석 가정 하에서 Local SGD를 분석한다.
• 수렴을 경계하기 위해 공통화 오차 $V_t$와 기울기 변동 $h_t$를 조합한 새로운 분석 프레임워크를 도입한다.
• 누적 경계를 유도하기 위해 오차 $e_t = f(x^t) - f(x^*)$에 대해 천천히 줄어드는 합을 사용한다.
• 기울기 오차와 공통화 오차 항을 균형 잡기 위해 스텝 사이즈 $\eta = \frac{1}{3KL\rho}$를 적용한다.
• 오차 전파를 국소 단계 동안 제어하기 위해 부드러움과 유한 기울기 가정을 활용한다.
• 재귀적 전개와 $\rho \geq 1$ 성질을 이용해 $V_t$에 대한 경계를 확립하고, 최종 오차 표현을 단순화한다.

실험 결과

연구 질문

• RQ1 비균일한 데이터 하에서 과다파라미터화된 모델에서 Local SGD는 Minibatch SGD보다 더 빠른 수렴을 이룰 수 있는가?
• RQ2 과다파라미터화 조건 하에서 강력한 볼록성, 일반 볼록성, 비볼록성 설정에서 Local SGD의 가장 날카운 가능한 수렴 속도는 무엇인가?
• RQ3 데이터 비균일성은 수렴에 어떤 영향을 미치며, 가벼운 데이터 유사성 가정이 수렴 속도 향상에 기여할 수 있는가?
• RQ4 유도된 수렴 속도가 날카로운가? 그리고 문제 사례를 통해 이에 대응할 수 있는가?
• RQ5 이론적 경계는 대규모 딥 러닝 환경에서 경험적으로 검증될 수 있는가?

주요 결과

• 강력한 볼록 손실 함수에 대해 Local SGD는 $\mathcal{O}(\exp(-T))$의 지수 수렴 속도를 달성하며, 이는 이전의 $\mathcal{O}(\exp(-T/K))$보다 향상된 것이다.
• 일반 볼록 손실에 대해 가벼운 데이터 유사성 가정 하에서 $\mathcal{O}(1/T)$ 수렴 속도를 확립하였고, 그렇지 않은 경우 $\mathcal{O}(K/T)$이다.
• 비볼록 손실에 대해 $\mathcal{O}(K/T)$의 수렴 속도를 증명하였으며, 이는 과다파라미터화된 설정에서 이전에 알려지지 않은 결과이다.
• 작은 스텝 사이즈 설정 하에서 구성된 문제 사례를 통해 이론적 경계가 상수 요소 내에서 날카로움을 입증하였다.
• 실제 및 합성 데이터를 사용한 대규모 수치 실험을 통해 Local SGD의 이론적 수렴 행동이 실제 과다파라미터화된 딥 러닝 모델에서 잘 유지됨을 검증하였다.
• 분석 결과, 비균일한 환경에서의 클라이언트 드리프트 문제 역시 과다파라미터화 조건 하에서는 완화될 수 있으며, 이는 더 빠른 수렴을 가능하게 한다는 점을 밝혔다.