[논문 리뷰] Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction

Jianyi Zhang, Ang Li외 7명|arXiv (Cornell University)|2022. 09. 30.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

Fed-CBS는 비밀유지 가능한 클래스 불균형 측도를 활용하여 선택된 클라이언트 데이터의 클래스 불균형을 줄이는 이질성 인지 클라이언트 샘플링 메커니즘입니다. 무작위 샘플링보다 높은 테스트 정확도(2–7% 향상)와 더 빠른 수렴을 달성하며, 일부 비IIDs 설정에서는 전체 클라이언트 참여를 초월합니다.

ABSTRACT

Due to limited communication capacities of edge devices, most existing federated learning (FL) methods randomly select only a subset of devices to participate in training for each communication round. Compared with engaging all the available clients, the random-selection mechanism can lead to significant performance degradation on non-IID (independent and identically distributed) data. In this paper, we show our key observation that the essential reason resulting in such performance degradation is the class-imbalance of the grouped data from randomly selected clients. Based on our key observation, we design an efficient heterogeneity-aware client sampling mechanism, i.e., Federated Class-balanced Sampling (Fed-CBS), which can effectively reduce class-imbalance of the group dataset from the intentionally selected clients. In particular, we propose a measure of class-imbalance and then employ homomorphic encryption to derive this measure in a privacy-preserving way. Based on this measure, we also design a computation-efficient client sampling strategy, such that the actively selected clients will generate a more class-balanced grouped dataset with theoretical guarantees. Extensive experimental results demonstrate Fed-CBS outperforms the status quo approaches. Furthermore, it achieves comparable or even better performance than the ideal setting where all the available clients participate in the FL training.

연구 동기 및 목표

• 비IIDs 데이터와 무작위 클라이언트 선택으로 인한 성능 저하 문제를 해결합니다.
• 무작위 샘플링에서 성능 저하의 근본 원인으로서 그룹화된 클라이언트 데이터의 클래스 불균형을 규명합니다.
• 개인정보 보호를 해치지 않으면서도 집계된 훈련 데이터의 클래스 균형을 유지하는 클라이언트 샘플링 메커니즘을 개발합니다.
• 클래스 불균형 제약 조건 하에서 클라이언트 선택 문제에 대한 이론적 수렴 보장과 NP-완전성 분석을 제공합니다.
• 비IIDs, 클래스 불균형 페더레이티드 러닝 설정에서 무작위 샘플링과 전체 클라이언트 참여를 모두 능가하는 Fed-CBS의 성능을 입증합니다.

제안 방법

• 로컬 클라이언트 데이터 분포에서 유도된 비밀유지 가능한 클래스 불균형 측도인 QCID(Qualified Class-Imbalance Degree)를 제안합니다.
• 집계 데이터셋이 클래스 균형을 유지하도록 QCID를 최소화하는 클라이언트 샘플링 전략을 설계합니다.
• 임계값 기반 선택 메커니즘을 도입하여, 클래스 수와 원하는 균형도에 따라 임계값 ε를 설정합니다.
• 비IIDs 데이터 하에서 이론적 수렴 보장을 갖는 최적화 문제로 클라이언트 선택을 공식화합니다.
• 기존 페더레이티드 러닝 알고리즘에 플러그인 모듈로 통합하여 핵심 훈련 절차를 변경하지 않고 성능을 향상시킵니다.
• 실제로 NP-완전 클라이언트 선택 문제를 효율적으로 해결하기 위해 근사 알고리즘을 사용합니다.

실험 결과

연구 질문

• RQ1 왜 비IIDs 페더레이티드 러닝 설정에서 무작위 클라이언트 선택은 모델 성능을 저하시키나요?
• RQ2 선택된 클라이언트로부터 집계된 데이터의 클래스 불균형을 개인정보 보호를 고려해 정량화할 수 있나요?
• RQ3 클라이언트 샘플링을 어떻게 최적화하여 클래스 불균형을 최소화하면서도 통신 효율성을 유지할 수 있나요?
• RQ4 이질성 인지 샘플링 전략인 Fed-CBS가 정확도와 수렴 측면에서 무작위 선택 및 전체 클라이언트 참여를 능가할 수 있나요?
• RQ5 Fed-CBS는 기존 페더레이티드 러닝 최적화 기법과 통합되어 성능 향상에 기여할 수 있나요?

주요 결과

• Fed-CBS는 QCID 측도를 최소화함으로써 집계된 훈련 데이터의 클래스 불균형을 줄여 모델 일반화 성능을 향상시킵니다.
• CIFAR-10에서 α=0.2일 때, Fed-CBS는 무작위 클라이언트 선택 및 기준 방법 대비 테스트 정확도를 2–7% 향상시킵니다.
• Fed-CBS는 FEMNIST에서 75% 테스트 정확도에 도달하기 위해 단 980 ± 17회의 통신 라운드만을 요구하며 수렴 속도가 무작위 선택(1106 ± 24라운드)을 뛰어넘습니다.
• FEMNIST에서 전체 클라이언트의 1% 미만인 30명의 클라이언트만 선택하더라도, 무작위로 120명을 선택한 것보다 더 뛰어난 성능을 달성합니다.
• 글로벌 데이터셋이 클래스 불균형일 경우, 전체 클라이언트 참여의 이상적인 경우조차도 Fed-CBS가 뛰어난 성능을 보이며, 클라이언트 선택에서 클래스 균형의 핵심적 역할을 입증합니다.
• 실험을 통해 클래스 수에 기반해 ε를 설정할 경우 선택 품질이 향상되며, M > 10명의 클라이언트를 선택할 때 최적의 성능을 달성함을 확인했습니다.