[논문 리뷰] FLIX: A Simple and Communication-Efficient Alternative to Local Methods in Federated Learning

Elnur Gasanov, Ahmed Khaled외 2명|arXiv (Cornell University)|2021. 11. 22.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FLIX는 로컬 업데이트를 대체하는 새로운 유한합 최적화 공식을 사용하는 통신 효율적인 플랫폼 학습 프레임워크를 제안한다. 이는 클라이언트별 개인화 파라미터를 활용하며, 국소적으로 계산된 모델 상태와 지능적인 초기화를 통해 로컬 방법과 동등한 성능를 달성하면서도 표준 분산 최적화와 적응형 통신 제어를 가능하게 한다. 다양한 데이터셋을 대상으로 한 광범위한 실험을 통해 검증되었다.

ABSTRACT

Federated Learning (FL) is an increasingly popular machine learning paradigm in which multiple nodes try to collaboratively learn under privacy, communication and multiple heterogeneity constraints. A persistent problem in federated learning is that it is not clear what the optimization objective should be: the standard average risk minimization of supervised learning is inadequate in handling several major constraints specific to federated learning, such as communication adaptivity and personalization control. We identify several key desiderata in frameworks for federated learning and introduce a new framework, FLIX, that takes into account the unique challenges brought by federated learning. FLIX has a standard finite-sum form, which enables practitioners to tap into the immense wealth of existing (potentially non-local) methods for distributed optimization. Through a smart initialization that does not require any communication, FLIX does not require the use of local steps but is still provably capable of performing dissimilarity regularization on par with local methods. We give several algorithms for solving the FLIX formulation efficiently under communication constraints. Finally, we corroborate our theoretical results with extensive experimentation.

연구 동기 및 목표

• 평균 위험 최소화가 통신 제약과 개인화 요구를 처리하지 못하는 표준 플랫폼 학습의 한계를 해결한다.
• 통신 효율성과 클라이언트별 모델 개인화를 모두 지원하는 유연한 최적화 프레임워크를 개발한다.
• 로컬 단계가 필요 없이 기존의 비로컬 분산 최적화 방법을 플랫폼 설정에서 사용할 수 있도록 한다.
• 표준 미끄러짐과 볼록성 가정 하에 수렴에 대한 이론적 보장을 제공한다.
• 이질적인 데이터 환경에서 로컬 방법과 메타학습 기반 기준보다 경험적으로 뛰어난 성능을 입증한다.

제안 방법

• 플랫폼 학습을 유한합 문제로 공식화: $\tilde{f}(x) = \frac{1}{n}\sum_{i=1}^{n} f_i(\alpha_i x + (1 - \alpha_i)x_i)$, 여기서 $x_i$는 클라이언트 $i$의 손실 함수의 국소 최소화값이다.
• 각 클라이언트의 최종 모델에 대한 글로벌 및 로컬 모델의 영향을 제어하기 위해 조정 가능한 개인화 파라미터 $\alpha_i \in [0,1]$를 사용한다.
• 통신 없이 국소적으로 $x_i$를 계산함으로써 통신 효율적인 초기화를 가능하게 한다.
• 최종 모델을 클라이언트 $i$에 배포하기 위해 $T_i(x_*) = \alpha_i x_* + (1 - \alpha_i)x_i$를 사용하여 개인화된 일반화를 허용한다.
• 통신 제약 하에서 표준 분산 최적화 방법(예: GD, CGD, DIANA)을 FLIX 공식에 적용한다.
• 원래 $f_i$의 미끄러짐과 볼록성을 변환된 $\tilde{f}$에서도 유지함으로써 이론적 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 로컬 업데이트 없이도 로컬 방법과 동등한 성능을 달성할 수 있는 플랫폼 학습 프레임워크를 설계할 수 있는가?
• RQ2 플랫폼 학습에서 통신 효율성과 개인화를 동시에 최적화할 수 있는가?
• RQ3 표준 분산 최적화 방법이 FL의 새로운 유한합 공식에 효과적으로 적용될 수 있는가?
• RQ4 이질적인 데이터 환경에서 개인화 파라미터 $\alpha_i$가 수렴과 일반화에 미치는 영향은 어떠한가?
• RQ5 통신 비용과 테스트 정확도 측면에서 FLIX는 FedAvg, FOMAML, Reptile와 비교해 어떻게 성능을 내는가?

주요 결과

• FLIX는 로컬 최적화 단계가 전혀 필요 없이도 로컬 방법과 유사한 일반화 성능를 달성한다.
• 이 프레임워크는 통신 효율적인 학습을 가능하게 한다: $\alpha_i = 0$일 경우, 클라이언트 $i$에 최종 모델을 배포하기 위해 통신이 전혀 필요 없다.
• 그리드 서치 결과, 더 작은 $\alpha_i$ 값은 최적의 일반화를 달성하기 위해 더 큰 스텝 사이즈가 필요함을 확인했으며, 이는 이론적 수렴 분석과 일치한다.
• EMNIST 및 Shakespeare 데이터셋에서, $\alpha = 0.3$과 $\alpha = 0.5$일 때 FLIX가 비교된 모든 방법들 중 가장 높은 테스트 정확도를 기록했다.
• 로지스틱 회귀 실험에서, 특히 부동소수점 연산 수로 측정했을 때 FLIX는 GD와 DIANA를 모두 압도적으로 앞서는 통신 비용 성능를 보였다.
• 이론적 분석을 통해 $f_i$의 미끄러짐과 볼록성이 $\tilde{f}$에서도 유지됨을 확인했으며, 이는 표준 최적화 방법을 사용한 빠른 수렴을 가능하게 한다.