[논문 리뷰] A Unified Theory of Decentralized SGD with Changing Topology and Local Updates

Anastasia Koloskova, Nicolas Loizou외 3명|arXiv (Cornell University)|2020. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 92인용 수 49

한 줄 요약

이 논문은 로컬 업데이트와 시간에 따라 변화하는 랜덤 토폴로지의 분산 SGD에 대한 통합 수렴 분석을 제시하며, iid 와 이질적 데이터 사이의 보편적 속도(interpolates) 를 도출하고 과매parametrized 상황에서 선형 수렴을 회복한다.

ABSTRACT

Decentralized stochastic optimization methods have gained a lot of attention recently, mainly because of their cheap per iteration cost, data locality, and their communication-efficiency. In this paper we introduce a unified convergence analysis that covers a large variety of decentralized SGD methods which so far have required different intuitions, have different applications, and which have been developed separately in various communities. Our algorithmic framework covers local SGD updates and synchronous and pairwise gossip updates on adaptive network topology. We derive universal convergence rates for smooth (convex and non-convex) problems and the rates interpolate between the heterogeneous (non-identically distributed data) and iid-data settings, recovering linear convergence rates in many special cases, for instance for over-parametrized models. Our proofs rely on weak assumptions (typically improving over prior work in several aspects) and recover (and improve) the best known complexity results for a host of important scenarios, such as for instance coorperative SGD and federated averaging (local SGD).

연구 동기 및 목표

• 로컬 업데이트와 적응적 네트워크 토폴로지를 포함하는 토그(토고) 기반 분산 SGD 를 위한 통합 프레임워크를 개발한다.
• 완만한 볼록 및 비볼록 목적 함수에 대해 약한 노이즈와 이질성 가정하에서의 보편적 수렴 속도를 도출한다.
• iid 데이터 설정과 비iid 데이터 설정 사이의 속도 보간을 보여주고 과매parametrized 규칙에서 선형 수렴을 얻는 조건을 식별한다.
• 강하게 볼록한 설정에서 속도 하한선을 제공하여 속도 한계의 타당성을 실증한다.
• 이론적 결과를 실험으로 검증하고 노이즈와 데이터 다양성이 수렴에 미치는 영향을 시각화한다.

제안 방법

• 로컬 그래디언트 업데이트 뒤에 합의(gossip) 평균화 단계를 따르는 분산 SGD를 모델링한다.
• 시간에 따라 변하는 분포에서 추출된 혼합 행렬 W(t)를 허용하고 새로운 기대 합의 속도 가정 Assumption 4를 정의한다.
• τ 연속 단계에 걸친 기대 혼합 속도에 대한 새로운 가정(Assumption 4)을 도입하여 기대값에서 ||XWℓ,τ − X̄||F 를 상한한다.
• 비볼록, 볼록, 강하게 볼록 설정에 대한 속도를 도출하는 통합 수렴 분석을 제공한다(Theorem 2).
• 강한 볼록성의 경우 이질성 항의 필요성을 보이는 하한선(Theorem 3)을 확립한다.
• 프레임워크를 Local SGD, Cooperative SGD, 주기적 분산 SGD 등의 특수 사례와 연관지어 설명한다(섹션 5).

실험 결과

연구 질문

• RQ1 로컬 업데이트와 changing topology를 가진 분산 SGD를 어떻게 하나의 통합 프레임워크로 분석할 수 있는가?
• RQ2 이질성 데이터와 시간에 따라 변화하는 gossip 토폴로지에서 매끄러운 볼록 및 비볼록 문제에 대한 보편적 수렴 속도는 무엇인가?
• RQ3 과매parametrized 설정에서 분산 비중앙집중화된 SGD 방법은 어떤 조건에서 선형 수렴을 달성하는가?
• RQ4 노이즈와 데이터 다양성은 수렴에 어떤 영향을 미치며 속도는 타이트한가?
• RQ5 기존의 분산 SGD 변형(Local SGD, 주기적 분산 SGD 등)은 제안된 프레임워크에서 특수한 경우로 회수될 수 있는가?

주요 결과

• 프레임워크는 약한 노이즈와 데이터 다양성 가정 하에서 비볼록, 볼록, 강하게 볼록 목적 함수에 대한 보편적 수렴 속도를 도출한다.
• 속도는 이질적(비동일 분포) 데이터와 iid 데이터 설정 사이를 보간하며 과매parametrized 상황에서 선형 수렴이 회복된다.
• 강한 볼록성에서 데이터 이질성 의존성이 필요함을 보여주는 하한선이 존재함으로써 결과의 타당성을 확인한다.
• 시간에 따라 변화하고 무작위로 샘플링된 혼합 행렬을 다루며, 매 스텝의 연결성은 필요하지 않고 축적된 혼합 속도(Assumption 4) 만으로 충분하다.
• 결과가 Local SGD 및 기타 분산 스킴에 대해 기존 분석을 대체하거나 개선하는 형태로 약한 또는 더 일반적인 가정 하에서 특수화된다.
• 실험적 결과가 이론적 경계의 타이트함을 검증하고 노이즈와 다양성이 수렴에 어떤 영향을 미치는지 보여준다.