[논문 리뷰] Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

Yae Jee Cho, Jianyu Wang외 1명|arXiv (Cornell University)|2020. 10. 02.

Privacy-Preserving Technologies in Data인용 수 221

한 줄 요약

연합 학습에서 편향된 클라이언트 선정을 도입하고, 더 큰 로컬 손실에 초점을 맞출수록 수렴이 빨라진다는 것을 보이며, 속도, 편향 및 오버헤드를 균형 있게 조정하는 Variants를 갖춘 Power-of-Choice를 제안한다.

ABSTRACT

Federated learning is a distributed optimization paradigm that enables a large number of resource-limited client nodes to cooperatively train a model without data sharing. Several works have analyzed the convergence of federated learning by accounting of data heterogeneity, communication and computation limitations, and partial client participation. However, they assume unbiased client participation, where clients are selected at random or in proportion of their data sizes. In this paper, we present the first convergence analysis of federated optimization for biased client selection strategies, and quantify how the selection bias affects convergence speed. We reveal that biasing client selection towards clients with higher local loss achieves faster error convergence. Using this insight, we propose Power-of-Choice, a communication- and computation-efficient client selection framework that can flexibly span the trade-off between convergence speed and solution bias. Our experiments demonstrate that Power-of-Choice strategies converge up to 3 $\ imes$ faster and give $10$% higher test accuracy than the baseline random selection.

연구 동기 및 목표

• 데이터 이질성 및 부분 참여하에서 FedAvg의 수렴에 미치는 편향된 클라이언트 선정의 영향에 대해 동기를 부여하고 분석한다.
• 더 높은 손실을 가진 클라이언트를 선택하는 것이 수렴 속도에 미치는 영향을 정량화한다.
• 수렴 속도, 편향, 통신/계산 비용 간의 균형을 맞추기 위한 Power-of-Choice 클라이언트 선택 프레임워크를 제안한다.
• 이득을 해치지 않으면서 계산 및 통신 오버헤드를 줄이는 실용적 변형들을 개발한다.
• 합성 제곱형 문제, 합성 로지스틱 회귀 및 비 IID FMNIST 데이터에서 실험을 통해 접근법을 검증한다.

제안 방법

• 부분 클라이언트 참여와 편향되지 않은 대 편향된 클라이언트 선택을 포함하는 FedAvg를 형식화한다.
• 표준 매끄러움, 강한 볼록성, 경계 기울기 가정하에 수렴 분석을 도출한다.
• 이질성과 편향 효과를 포착하기 위해 Local-Global Objective Gap 및 Selection Skew 지표를 도입한다.
• Power-of-Choice(pi_pow-d)를 제안하여 d명의 후보 클라이언트를 선택하고 그 안에서 가장 높은 손실을 가진 클라이언트를 선택한다.
• 계산 및 통신을 줄이기 위한 실용적 변형(pi_cpow-d, pi_rpow-d)을 제시하고, 로컬 손실의 근사를 포함한다.
• 2차 최적화, 합성 로지스틱 회귀, 비 IID FMNIST에 대한 실험 평가를 제공한다.

실험 결과

연구 질문

• RQ1 부분 참여가 있는 연합 평균화에서 편향된 클라이언트 선정이 수렴 속도와 최종 해의 편향에 어떤 영향을 미치는가?
• RQ2 높은 손실을 가진 클라이언트를 선택하는 것이 편향이나 오버헤드를 지나치게 증가시키지 않으면서 수렴을 가속화할 수 있는가?
• RQ3 이질성하에서 선택 편향(수렴 속도)과 해의 편향 사이의 균형은 무엇인가?
• RQ4 Power-of-Choice의 실용적 변형들이 통신 및 계산 비용을 줄이면서 이득을 유지하는가?
• RQ5 제안된 전략들이 합성 및 실제와 유사한 비 IID 연합 데이터에서 어떤 성능을 보이는가?

주요 결과

• 더 높은 로컬 손실 쪽으로 편향된 클라이언트 선택은 비편향/무작위 선택에 비해 수렴을 가속시킬 수 있다.
• 수렴 속도는 선택 편향 매개변수에 비례하여 증가하며, 감소하는 학습률 하에서 O(1/(T * rho_bar))를 달성한다.
• 편향에 의해 소실되지 않는 편향 항이 생기며, rho_tilde/rho_bar 비율에 의해 제어된다; 실험적 결과는 이 편향이 작을 수 있음을 보인다.
• Power-of-Choice(pi_pow-d)는 실험에서 무작위 선택보다 최대 약 3배 빠른 수렴과 약 10% 더 높은 테스트 정확도를 보인다.
• 후보 집합 크기 d를 키우면 수렴 속도가 빨라지지만 최종 편향이 커질 수 있다; 실용적 변형들이 비용을 완화하면서 이득을 보존한다.
• 변형인 pi_cpow-d와 pi_rpow-d은 계산/통신을 더 줄이고, 실험에서 경쟁력 있거나 우수한 정확도를 보인다.
• 제곱 문제, 합성 연합 데이터 및 비 IID FMNIST에 대한 실험은 기준선 대비 일관된 가속과 정확도 향상을 보여준다.