[논문 리뷰] Asynchronous Federated Optimization

Cong Xie, Oluwasanmi Koyejo외 1명|arXiv (Cornell University)|2019. 03. 10.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 442

한 줄 요약

이 논문은 특정 조건에서 거의 선형 수렴을 달성하기 위해 로컬 정규화된 SGD 업데이트와 적응적 혼합을 결합하는 비동기 연합 최적화 알고리즘인 FedAsync를 소개하며, 오래된 업데이트를 허용한다.

ABSTRACT

Federated learning enables training on a massive number of edge devices. To improve flexibility and scalability, we propose a new asynchronous federated optimization algorithm. We prove that the proposed approach has near-linear convergence to a global optimum, for both strongly convex and a restricted family of non-convex problems. Empirical results show that the proposed algorithm converges quickly and tolerates staleness in various applications.

연구 동기 및 목표

• 확장성과 반응성을 향상시키기 위해 에지 디바이스에서 비동기 학습으로 연합 학습을 촉진한다.
• 변경된 stale 업데이트를 허용하는 새로운 비동기 연합 최적화 알고리즘을 제안한다.
• 제한된 비컨벙스 문제 클래스에 대한 수렴 보장을 확립한다.
• 적응적 혼합을 통해 비동기에 의한 오차를 제어하는 실용적인 전략을 개발한다.
• 현실적인 설정에서 동기식 FedAvg에 비해 실험적 이점을 시연한다.

제안 방법

• FedAsync를 제안하여 서버가 mixing 매개변수 alpha를 사용한 가중 평균으로 글로벌 모델을 업데이트한다.
• 각 디바이스는 확장된 손실 f(x;z)+ (rho/2)||x - x_t||^2에 대해 SGD를 사용하여 정규화된 로컬 문제를 풀이한다.
• 타임스탬프가 부여된 stale 모델과 논블로킹 업데이트를 포함하는 비동기 서버-워커 통신을 허용한다.
• staleness 효과를 완화하기 위한 적응적 혼합 함수 alpha_t = alpha * s(tau difference)를 도입한다.
• 지연과 로컬 업데이트 수를 유계하는 가정하에 L-smoothness 및 mu-weak convexity 하에서 수렴 분석을 제공한다.
• rho, gamma, 및 staleness에 대한 조건을 도출하여 임계점으로의 수렴을 보장한다.]
• rho, gamma, 및 staleness에 대한 조건을 도출하여 임계점으로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 유한한 지연과 이질적인 로컬 업데이트 하에서 비볼록 목적에 대해 비동기 연합 최적화가 글로벌 혹은 임계점으로 수렴할 수 있는가?
• RQ2 Staleness가 수렴에 어떤 영향을 미치며, FedAsync에서 adaptive mixing이 그 영향을 완화할 수 있는가?
• RQ3 일반 데이터셋에서 비 IID 데이터 하에 동기식 FedAvg에 비해 FedAsync가 실용적인 성능 향상을 제공하는가?
• RQ4 비동기 연합 환경에서 수렴성과 안정성을 보장하기에 충분한 메커니즘(정규화, 혼합)은 무엇인가?

주요 결과

• FedAsync는 특정 가정하에 강하게 볼록 및 제한된 비볼록 문제군에 대해 글로벌 최적점으로의 거의 선형 수렴을 달성한다.
• 적응적 혼합 전략은 stale에 대한 견고성을 향상시키고 실험에서 종종 상수 혼합보다 더 나은 성능을 보인다.
• 실험 결과는 FedAsync가 빠르게 수렴하고 다양한 staleness를 허용하며 때로는 동기식 FedAvg를 능가한다고 나타낸다.
• 더 큰 staleness는 수렴 속도를 늦추지만 adaptive alpha를 사용할 때 재앙적이지 않다.
• 제안된 접근 방식은 혼합 하이퍼파라미터를 통해 수렴 속도와 분산 감소 간의 조정 가능한 균형을 제공한다.