[논문 리뷰] Bidirectional compression in heterogeneous settings for distributed or federated learning with partial participation: tight convergence guarantees

Constantin Philippenko, Aymeric Dieuleveut|arXiv (Cornell University)|2020. 06. 25.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 8

한 줄 요약

이 논문은 분산 및 플러드러티드 러닝을 위한 이방향 압축 프레임워크인 Artemis를 소개한다. 이 프레임워크는 약한 가정 하에서도 수렴 보장을 유지하면서 상行 및 하행 통신을 모두 압축한다. 비i.i.d. 환경에서 부분적인 워커 참여 상황에서도 노이즈 임계값 이내로 선형 수렴을 달성하며, 압축 오차를 줄이기 위해 메모리 메커니즘을 활용하고, 압축으로 인한 점근적 분산의 하한을 제시한다.

ABSTRACT

We introduce a framework - Artemis - to tackle the problem of learning in a distributed or federated setting with communication constraints and device partial participation. Several workers (randomly sampled) perform the optimization process using a central server to aggregate their computations. To alleviate the communication cost, Artemis allows to compress the information sent in both directions (from the workers to the server and conversely) combined with a memory mechanism. It improves on existing algorithms that only consider unidirectional compression (to the server), or use very strong assumptions on the compression operator, and often do not take into account devices partial participation. We provide fast rates of convergence (linear up to a threshold) under weak assumptions on the stochastic gradients (noise's variance bounded only at optimal point) in non-i.i.d. setting, highlight the impact of memory for unidirectional and bidirectional compression, analyze Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower bound of the asymptotic variance that highlights practical limits of compression. We propose two approaches to tackle the challenging case of devices partial participation and provide experimental results to demonstrate the validity of our analysis.

연구 동기 및 목표

• 분산 및 플러드러티드 러닝에서의 통신 병목 현상을 해결하기 위해 상행 및 하행 메시지를 모두 압축한다.
• 이전 연구에서 상행만 압축하거나, 압축 연산자에 대해 강한 가정을 필요로 하는 한계를 극복한다.
• 비i.i.i.d. 환경에서 부분적인 워커 참여 상황에서도 수렴 보장을 제공하며, 현실 세계에서 흔한 과제를 해결한다.
• 메모리 메커니즘이 단방향 및 이방향 압축 환경에서 수렴에 미치는 영향을 분석한다.
• 압축으로 인한 점근적 분산의 하한을 설정하여, 통신 효율의 실질적 한계를 드러낸다.

제안 방법

• 상행(워커에서 서버로) 및 하행(서버에서 워커로)에 모두 압축을 적용하는 Artemis 프레임워크를 제안하며, 상대 오차가 유계인 압축 연산자를 사용한다.
• 압축 오차를 추적하고 보정하기 위해 메모리 메커니즘을 도입하여 수렴 안정성을 향상시킨다.
• 수렴의 분포를 사용하여 반복값의 점근적 분산에 하한을 도출하며, 압축의 본질적 한계를 정량화한다.
• Polyak-Ruppert 평균화를 사용하여 수렴 속도를 향상시키고 최종 해의 분산을 감소시킨다.
• 약한 가정 하에서 수렴 분석을 수립한다: 최적점에서의 확률적 기울기의 분산만 유계이면 된다.
• 부분적 워커 참여를 다루기 위한 두 가지 접근 방식을 제안하여 실제 학습 환경에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 부분적 참여 상황에서 비i.i.i.d. 플러드러티드 러닝 환경에서 메모리 메커니즘을 갖춘 이방향 압축이 선형 수렴을 달성할 수 있는가?
• RQ2 압축 연산자 선택(단방향 대비 이방향)이 수렴 속도와 최종 해 품질에 어떤 영향을 미치는가?
• RQ3 점근적 분산 측면에서 압축의 본질적 한계는 무엇이며, 데이터 이질성과 어떻게 관련되는가?
• RQ4 메모리 메커니즘이 상행 및 하행 통신에서의 압축 오차 영향을 어떻게 줄이는가?
• RQ5 부분적 워커 참여가 수렴에 미치는 실질적 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• Artemis는 약한 가정 하에서, 특히 최적점에서 기울기의 분산만 유계일 경우, 노이즈 임계값 이내로 선형 수렴을 달성한다.
• 반복값의 점근적 분산은 $(1 + \rho_{\text{up}})(1 + \rho_{\text{dwn}})\frac{\rho_*^2}{b}$에 비례하는 항으로 하한이 존재하며, 여기서 $\rho_{\text{up}}, \rho_{\text{dwn}}$는 압축 오차의 상한이고 $b$는 배치 크기이다.
• 메모리 메커니즘이 특히 이방향 압축에서 지속적인 오차를 추적하고 보정함으로써 압축 오차의 영향을 크게 감소시킨다.
• 메모리가 없을 경우, 상행에서 보정되지 않은 압축 편향으로 인해 점근적 분산이 $(1 + \rho_{\text{up}})$ 배 증가한다.
• 실험적으로 검증된 두 가지 전략을 통해 프레임워크는 부분적 참여 상황에서도 효과적으로 대응하며, 라운드당 일부 워커만 참여하더라도 안정적인 수렴을 보장한다.
• Polyak-Ruppert 평균화로 반복값의 분산이 감소하여 일반화 성능 향상과 더 넓은 수렴 한계 확보가 가능해진다.