[논문 리뷰] Artemis: tight convergence guarantees for bidirectional compression in Federated Learning.

Constantin Philippenko, Aymeric Dieuleveut|arXiv (Cornell University)|2020. 06. 25.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 17

한 줄 요약

Artemis는 페더레이티드 러닝에서 양방향 압축 알고리즘을 제안하며, 메모리 메커니즘을 사용해 워커에서 서버로와 서버에서 워커로의 통신을 모두 압축함으로써, 약한 가정 하에서도 선형 수렴 속도를 달성하고, 부분적 참가가 있는 비i.i.d. 환경에서 엄밀한 이론적 보장을 제공한다.

ABSTRACT

We introduce a new algorithm - Artemis - tackling the problem of learning in a distributed framework with communication constraints. Several workers (randomly sampled) perform the optimization process using a central server to aggregate their computation. To alleviate the communication cost, Artemis compresses the information sent in both directions (from the workers to the server and conversely) combined with a memory mechanism. It improves on existing quantized federated learning algorithms that only consider unidirectional compression (to the server), or use very strong assumptions on the compression operator, and often do not take into account devices partial participation. We provide fast rates of convergence (linear up to a threshold) under weak assumptions on the stochastic gradients (noise's variance bounded only at optimal point) in non-i.i.d. setting, highlight the impact of memory for unidirectional and bidirectional compression, analyze Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower bound of the asymptotic variance that highlights practical limits of compression. And we provide experimental results to demonstrate the validity of our analysis.

연구 동기 및 목표

• 통신 병목 현상을 해결하기 위해 효율적인 양방향 압축을 가능하게 하기 위해.
• 부분적 워커 참가가 있는 비i.i.i.d. 데이터 환경에서 수렴 속도를 향상시키기 위해.
• 기울기 노이즈에 대한 약한 가정 하에서도 이론적 수렴 보장을 제공하기 위해.
• 메모리의 역할을 단방향 및 양방향 압축에서 분석하기 위해.
• 수렴의 분포 수렴을 사용해 渐近 분산의 하한을 유도함으로써 압축의 실용적 한계를 드러내기 위해.

제안 방법

• Artemis는 워커에서 서버로와 서버에서 워커로의 기울기 전달을 모두 양방향으로 압축한다.
• 수렴 효율성을 향상시키기 위해 압축 오차를 저장하고 재사용하는 메모리 메커니즘을 통합한다.
• 안정성과 수렴을 향상시키기 위해 Polyak-Ruppert 평균을 사용한다.
• 수렴의 분포 수렴을 사용해 渐近 분산의 하한을 유도한다.
• 이론적 분석은 최적점에서의 확률적 기울기의 유한 분산만을 가정하며, 전역적으로는 가정하지 않는다.
• 프레임워크는 실제 페더레이티드 러닝 시나리오를 반영하기 위해 워커의 부분적 참가를 지원한다.

실험 결과

연구 질문

• RQ1 약한 가정 하에서 메모리와 함께 양방향 압축이 페더레이티드 러닝의 수렴에 어떻게 향상되는가?
• RQ2 메모리의 영향은 단방향 대비 양방향 압축에서 수렴에 어떻게 작용하는가?
• RQ3 부분적 워커 참가가 양방향 압축의 수렴에 어떻게 영향을 미치는가?
• RQ4 渐近 분산 측면에서 압축의 실용적 한계는 무엇인가?
• RQ5 Polyak-Ruppert 평균과 수렴의 분포 수렴은 이론적 하한에 어떻게 영향을 미치는가?

주요 결과

• Artemis는 약한 가정 하에서도 최적점에서만 기울기 노이즈 분산이 유한할 경우, 임계값 이하에서 선형 수렴 속도를 달성한다.
• 메모리 메커니즘은 단방향 및 양방향 압축 환경 모두에서 수렴 성능을 크게 향상시킨다.
• 수렴의 분포 수렴 분석을 통해 渐近 분산의 하한이 드러나며, 이는 페더레이티드 러닝에서 압축의 본질적 한계를 폭 드러낸다.
• 수렴 속도와 안정성 측면에서 양방향 압축은 단방향 압축을 능가한다.
• 실험 결과는 이론적 분석을 검증하며, 제안된 알고리즘의 실용적 효과성을 입증한다.
• 부분적 참가 조건에서도 강력한 성능 유지를 유지하여 실제 페더레이티드 러닝 환경을 반영한다.