[논문 리뷰] Reducing the Communication Cost of Federated Learning through Multistage Optimization.

Charlie Hou, Kiran Koshy Thekumparampil외 2명|arXiv (Cornell University)|2021. 08. 16.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 6

한 줄 요약

이 논문은 데이터 이질성으로 인한 오차 한계에 도달한 후 중심화된 방법으로 전환함으로써 통신 비용을 줄이는 다단계 최적화 프레임워크를 제안한다. 이 방법은 모든 데이터 이질성 수준에서 이론적 통신 복잡도 하한에 거의 근접하며, 기존 방법에 비해 실용적이고 이론적으로 타당한 대안을 제공한다.

ABSTRACT

A central question in federated learning (FL) is how to design optimization algorithms that minimize the communication cost of training a model over heterogeneous data distributed across many clients. A popular technique for reducing communication is the use of local steps, where clients take multiple optimization steps over local data before communicating with the server (e.g., FedAvg, SCAFFOLD). This contrasts with centralized methods, where clients take one optimization step per communication round (e.g., Minibatch SGD). A recent lower bound on the communication complexity of first-order methods shows that centralized methods are optimal over highly-heterogeneous data, whereas local methods are optimal over purely homogeneous data [Woodworth et al., 2020]. For intermediate heterogeneity levels, no algorithm is known to match the lower bound. In this paper, we propose a multistage optimization scheme that nearly matches the lower bound across all heterogeneity levels. The idea is to first run a local method up to a heterogeneity-induced error floor; next, we switch to a centralized method for the remaining steps. Our analysis may help explain empirically-successful stepsize decay methods in FL [Charles et al., 2020; Reddi et al., 2020]. We demonstrate the scheme's practical utility in image classification tasks.

연구 동기 및 목표

• 중간 수준의 데이터 이질성에서 최적의 방법이 알려져 있지 않은 통신 비용 문제를 해결하기 위해.
• 이론적 통신 복잡도 하한과 실용적인 플러드러닝 최적화 알고리즘 간 격차를 메우기 위해.
• 로컬 및 중심화된 학습 단계를 조합함으로써 데이터 이질성에 적응하는 하이브리드 최적화 전략을 설계하기 위해.
• 플러드러닝에서 관찰된 경험적 성공 사례인 학습률 감소 전략에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 방법은 클라이언트가 서버와 통신하기 전에 다수의 로컬 업데이트를 수행하는 로컬 최적화 단계로 시작한다 (예: FedAvg 방식).
• 이질성에 기인한 오차 한계를 로컬 단계의 정지 기준으로 삼으며, 이는 본질적인 데이터 분포 편향에 기반한다.
• 오차 한계에 도달한 후, 최종 수렴 단계를 위해 중심화된 최적화 방법 (예: 미니배치 SGD)으로 전환한다.
• 데이터 이질성으로 인해 로컬 업데이트가 더 이상 최적화 오차를 유의미하게 감소시키지 못할 때 전이가 촉발된다.
• 이론적 분석에 따르면, 이 이중 단계 접근 방식은 모든 이질성 수준에서 알려진 통신 복잡도 하한에 거의 근접한다.
• 이 프레임워크는 기존 플러드러닝 알고리즘과 호환되며, 표준 학습 파ip라인에 적용할 수 있도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 로컬 및 중심화된 방법을 조합한 하이브리드 최적화 전략이 모든 수준의 데이터 이질성에서 거의 최적의 통신 복잡도를 달성할 수 있는가?
• RQ2 통신 비용을 최소화하기 위해 로컬 학습에서 중심화된 학습으로 전환할 최적의 시점은 무엇인가?
• RQ3 제안된 방법은 FedAvg 및 SCAFFOLD와 같은 기존 알고리즘에 비해 수렴성과 통신 효율성 측면에서 어떻게 비교되는가?
• RQ4 이 다단계 기반의 이론적 분석은 플러드러닝에서 경험적으로 성공한 학습률 감소 전략을 설명할 수 있는가?
• RQ5 이 방법은 현실적인 데이터 이질성 하에서 이미지 분류와 같은 실용적 과제에서 성능을 유지하는가?

주요 결과

• 다단계 최적화 방법은 동종에서 극도로 이질적인 모든 수준의 데이터 이질성에서 이론적 통신 복잡도 하한에 거의 근접한다.
• 중간 수준의 이질성에서 표준 로컬 (예: FedAvg) 및 중심화된 (예: 미니배치 SGD) 접근 방식보다 통신 효율성이 뛰어나다.
• 오차 한계 지점에서 로컬 학습에서 중심화된 학습으로 전환하는 것이 수렴을 위한 통신 라운드 수를 크게 줄인다.
• 이론적 분석은 실무에서 관찰된 학습률 감소 전략의 효과를 뒷받침하며, 그 성공에 대한 체계적인 설명을 제공한다.
• 이미지 분류 과제에서의 경험적 평가를 통해 제안된 방법의 실용성과 통신 비용 절감 효과가 확인되었다.