[논문 리뷰] Optimal Client Sampling for Federated Learning

Wenlin Chen, Samuel Horváth외 1명|arXiv (Cornell University)|2020. 10. 26.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 95

한 줄 요약

적응형이면서 프라이버시 친화적인 최적 클라이언트 샘플링 체계를 제안하여 Federated Learning에서 통신을 감소시키고, DSGD 및 FedAvg에 대한 수렴 보증과 전체 참여에 근접하는 성능을 제공합니다.

ABSTRACT

It is well understood that client-master communication can be a primary bottleneck in Federated Learning. In this work, we address this issue with a novel client subsampling scheme, where we restrict the number of clients allowed to communicate their updates back to the master node. In each communication round, all participating clients compute their updates, but only the ones with "important" updates communicate back to the master. We show that importance can be measured using only the norm of the update and give a formula for optimal client participation. This formula minimizes the distance between the full update, where all clients participate, and our limited update, where the number of participating clients is restricted. In addition, we provide a simple algorithm that approximates the optimal formula for client participation, which only requires secure aggregation and thus does not compromise client privacy. We show both theoretically and empirically that for Distributed SGD (DSGD) and Federated Averaging (FedAvg), the performance of our approach can be close to full participation and superior to the baseline where participating clients are sampled uniformly. Moreover, our approach is orthogonal to and compatible with existing methods for reducing communication overhead, such as local methods and communication compression methods.

연구 동기 및 목표

• Cross-device Federated Learning의 통신 병목을 해결한다
• 정보 업데이트를 선택하는 적응형 클라이언트 샘플링 전략을 개발한다
• secure aggregation 및 stateless clients와의 호환성을 보장한다
• convex 및 비-convex 설정에서 DSGD와 FedAvg에 대한 수렴 보장을 제공한다

제안 방법

• 부분 참여를 확률 집합 S로 모델링하고 포함 확률 p_i 및 독립 샘플링을 사용한다
• 예산 m(Equation 7) 하에서 그래디언트 추정기의 분산을 최소화하는 폐쇄형 최적 샘플링 확률 p_i^k를 도출한다
• 개별 업데이트 노름을 드러내지 않으면서도 근사적인 프라이버시 보장을 제공하는 알고리즘(Algorithm 2)을 제시하여 근사적 최적성을 유지한다
• aggregation-only 접근 방식을 통해 secure aggregation 및 stateless clients와의 호환성을 보여준다
• convex 및 non-convex 가정 하에서 DSGD 및 FedAvg에 대한 수렴 분석(Theorems 13–18)을 제시한다

실험 결과

연구 질문

• RQ1 고정된 참여 예산 m 하에서 마스터 업데이트의 분산을 어떻게 최소화할 수 있는가?
• RQ2 제안된 샘플링이 private 정보를 누설하지 않고 secure aggregation 및 stateless clients로 구현될 수 있는가?
• RQ3 optimal client sampling을 사용할 때 convex 및 non-convex 설정에서 DSGD와 FedAvg의 수렴 보장은 무엇인가?
• RQ4 제안된 방법이 실무에서 전체 참여 및 균일 샘플링과 비교하여 어떤 차이가 있는가?

주요 결과

• 최적 샘플링 체계는 independent sampling을 통해 참여 예산에서 그래디언트 추정기 분산을 최소화한다.
• p_i^k에 대한 폐쇄형 해를 제공(Equation 7), 프라이버시 제약에 적합한 효율적인 근사 Algorithm 2를 제시한다.
• 본 방법은 전체 참여에 근접한 성능을 달성하고 이론상 및 실험적으로 균일 샘플링보다 우수하다.
• 샘플링은 로컬 업데이트 및 그래디언트 압축 방법과 직교하며, secure aggregation 및 stateless clients와의 호환성을 가진다.
• 본 접근법은 균일 샘플링 기준선보다 더 큰 학습률을 허용하여 통신 효율성 및 수렴 속도를 개선한다.