[논문 리뷰] Local SGD: Unified Theory and New Efficient Methods

Eduard Gorbunov, Filip Hanzely외 1명|arXiv (Cornell University)|2020. 11. 03.

Stochastic Gradient Optimization Techniques참고 문헌 54인용 수 10

한 줄 요약

이 논문은 분산 및 피어드러닝 환경에서 볼록 및 강력 볼록 설정에서 국소 SGD 방법을 분석하기 위한 통합 이론적 프레임워크를 제안한다. 이는 이질적 데이터, 가변적인 국소 스텝 수, 고급 기울기 추정기(이동 변형 포함)를 지원하는 일반적인 알고리즘 아키텍처를 도입하여, 데이터 동질성이나 강력한 가정 없이도 선형 수렴하는 국소 SGD 방법을 처음으로 가능하게 한다.

ABSTRACT

We present a unified framework for analyzing local SGD methods in the convex and strongly convex regimes for distributed/federated training of supervised machine learning models. We recover several known methods as a special case of our general framework, including Local-SGD/FedAvg, SCAFFOLD, and several variants of SGD not originally designed for federated learning. Our framework covers both the identical and heterogeneous data settings, supports both random and deterministic number of local steps, and can work with a wide array of local stochastic gradient estimators, including shifted estimators which are able to adjust the fixed points of local iterations for faster convergence. As an application of our framework, we develop multiple novel FL optimizers which are superior to existing methods. In particular, we develop the first linearly converging local SGD method which does not require any data homogeneity or other strong assumptions.

연구 동기 및 목표

• 분산 및 피어드러닝 환경에서 국소 확률적 1차 방법을 분석하기 위한 일반적이고 통합된 프레임워크를 개발하기 위해.
• 클라이언트 간 동일, 이질적, 부분적으로 이질적(ζ-이질적) 데이터를 포함한 다양한 설정을 지원하기 위해.
• 유연한 국소 스텝 수(랜덤 또는 결정적)와 이동, 분산 감소, 중요도 샘플링 변형과 같은 고급 기울기 추정기를 통합하기 위해.
• 특히 데이터 동질성의 필요성을 제거함으로써 선형 수렴 달성에 필요한 최소한의 가정 하에 수렴 분석을 가능하게 하기 위해.
• 프레임워크를 기반으로 기존 방법을 초월하는 새로운 뛰어난 최적화기를 유도하기 위해.

제안 방법

• 통신 지표 $ c_k \in \{0,1\} $로 매개변수화된 일반적인 알고리즘 가족을 제안하며, $ c_k = 1 $일 때 동기화가 발생한다.
• 국소 기울기 추정기의 행동을 기술하는 새로운 가정(가정 2.3)을 도입하여 이동 기울기 및 분산 감소 변형을 포함한다.
• 문제의 미분 가능성, 분산, 국소 스텝 수에 따라 표현된 날카운 수렴 속도 경계를 유도하며, 이는 $ \mathcal{O}\left(\frac{a}{\gamma_0 K} + \frac{\sqrt{ab_1}}{K} + \cdots \right) $ 로 표현되며, 여기서 $ a, b_1, b_2, c_1, c_2 $ 는 국소 추정기 성질에 따라 결정된다.
• 다양한 기울기 추정기 유형을 지원: 분산의 균일한 경계(UBV), 기대 스무쓰니스(ES), 단순 또는 분산 감소 변형.
• 기존 방법(예: FedAvg, SCAFFOLD)을 복원하고 새로운 방법(S*-Local-SGD, S-Local-SVRG)을 도출하기 위해 프레임워크를 적용한다.
• 이동 기울기의 고정점 수정 효과를 분리하는 새로운 분석 기법을 사용하여, 데이터 동질성이 없더라도 수렴 가능하게 한다.

실험 결과

연구 질문

• RQ1 일관된 이론적 프레임워크로 볼록 및 강력 볼록 영역에서 다양한 국소 SGD 방법의 분석을 통합할 수 있는가?
• RQ2 이동 기울기 추정기는 어떻게 체계적으로 국소 SGD에 통합되어 고정점 오차를 보정하고 수렴을 향상시킬 수 있는가?
• RQ3 데이터 동질성 가정 없이 이질적 데이터 분포 하에서 국소 SGD의 수렴 보장을 어떻게 도출할 수 있는가?
• RQ4 기존 방법을 초월하는 더 효율적인 국소 SGD 변형을 통합 프레임워크에서 체계적으로 유도할 수 있는가?
• RQ5 가변적인 국소 스텝 수와 고급 기울기 추정기(예: 중요도 샘플링, 분산 감소)는 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 프레임워크는 FedAvg 및 SCAFFOLD와 같은 기존 방법을 특수 케이스로 복원하여 그 일반성을 입증한다.
• 논문은 데이터 동질성이나 강력한 데이터 유사성 가정 없이도 첫 번째 선형 수렴하는 국소 SGD 방법을 도출한다.
• UBV와 이질적 데이터를 사용하는 S*-Local-SGD 변형의 수렴 속도는 $ \mathcal{O}\left(\frac{\sigma^2}{nK} + \frac{L^2}{K} \right) $ 로 표현되며, 기존의 알려진 속도를 유지하지만 더 약한 가정 하에서 도달한다.
• ES 기반 추정기는 중요도 샘플링을 가능하게 하며, 추가적인 스무쓰니스나 분산 가정 없이도 수렴을 달성한다.
• 프레임워크를 통해 SS-Local-SGD 및 S-Local-SVRG와 같은 새로운 최적화기를 설계할 수 있었으며, 이는 이질적 데이터 하에서 향상된 수렴 성능을 달성한다.
• 분석 결과, 이동 기울기 추정기는 특히 비i.i.d. 환경에서 국소 반복의 고정점을 보정함으로써 수렴을 크게 향상시킨다.