[논문 리뷰] Federated Learning with Regularized Client Participation

Grigory Malinovsky, Samuel Horváth외 2명|arXiv (Cornell University)|2023. 02. 07.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 메타에포크당 각 클라이언트가 정확히 한 번씩 참여하는 정규화된 클라이언트 참여 방식을 제안하며, 클라이언트 샘플링으로 인한 분산을 줄입니다. FedAvg와 결합할 경우, 표준 가정 하에서 임의의 클라이언트 가용성 조건에서도 수렴 속도가 $\mathcal{O}(1/T^2)$로 향상되어 기존의 $\mathcal{O}(1/T)$ 스케일링 방법을 능가합니다.

ABSTRACT

Federated Learning (FL) is a distributed machine learning approach where multiple clients work together to solve a machine learning task. One of the key challenges in FL is the issue of partial participation, which occurs when a large number of clients are involved in the training process. The traditional method to address this problem is randomly selecting a subset of clients at each communication round. In our research, we propose a new technique and design a novel regularized client participation scheme. Under this scheme, each client joins the learning process every $R$ communication rounds, which we refer to as a meta epoch. We have found that this participation scheme leads to a reduction in the variance caused by client sampling. Combined with the popular FedAvg algorithm (McMahan et al., 2017), it results in superior rates under standard assumptions. For instance, the optimization term in our main convergence bound decreases linearly with the product of the number of communication rounds and the size of the local dataset of each client, and the statistical term scales with step size quadratically instead of linearly (the case for client sampling with replacement), leading to better convergence rate $\mathcal{O}\left(\frac{1}{T^2} ight)$ compared to $\mathcal{O}\left(\frac{1}{T} ight)$, where $T$ is the total number of communication rounds. Furthermore, our results permit arbitrary client availability as long as each client is available for training once per each meta epoch.

연구 동기 및 목표

• 크로스디바이스 분산 학습에서 수백만 대의 장치가 가용할 수 있지만 매 라운드에선 일부 클라이언트만 참여하는 상황에서 부분적 클라이언트 참여 문제를 해결하기 위해.
• FedAvg에서 랜덤 클라이언트 샘플링으로 인한 분산을 줄이기 위해, 체계적이고 정규화된 참여 패턴을 도입하기 위해.
• 클라이언트 수준의 무작위 재배열을 활용하여, 중앙집중식 학습에서의 분산 감소와 유사한 더 빠른 수렴 속도를 달성하기 위해.
• 메타에포크당 각 클라이언트가 한 번 이상 참여하는 한, 임의의 클라이언트 가용성 조건에서도 수렴 보장을 확보하기 위해.
• 기존의 샘플링 기반 접근 방식보다 성능을 향상시키면서도 상태 비저장 동작을 유지하는 방법을 개발하기 위해.

제안 방법

• 메타에포크 구조를 도입하여, 각 클라이언트가 R번의 통신 라운드마다 정확히 한 번씩 참여하도록 하여 정규화된 참여를 보장합니다.
• 메타에포크 간에 일정하고 주기적인 순서로 클라이언트를 재배열함으로써 독립적 샘플링을 방지하는 새로운 클라이언트 선택 전략을 설계합니다.
• 정규화된 클라이언트 참여를 FedAvg 유사 업데이트와 결합하여, 로컬 스텝, 로컬 데이터셋 재배열, 별도의 서버 및 클라이언트 학습률를 포함합니다.
• 클라이언트 수준의 재배열을 고려하고, 랜덤 샘플링에 대한 기대값을 피하는 새로운 분석 프레임워크를 사용하여 수렴 한계를 유도합니다.
• Mishchenko 등(2020)의 레미마 1을 적용하여, 결정적 또는 비균일한 클라이언트 순서 조건에서도 클라이언트 재배열의 분산을 제한합니다.
• 메타에포크당 각 클라이언트가 최소 한 번 이상 활성화되는 한, 임의의 클라이언트 가용성 조건을 허용하여 실세계 환경에서의 실용성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 구조적이고 i.i.d.가 아닌 클라이언트 참여 패턴은 랜덤 샘플링 대비 분산 학습에서 분산을 줄일 수 있는가?
• RQ2 메타에포크당 각 클라이언트가 한 번씩 참여하는 정규화된 클라이언트 참여 방식은 랜덤 클라이언트 샘플링을 사용하는 표준 FedAvg보다 더 빠른 수렴 속도를 보일 수 있는가?
• RQ3 클라이언트 수준의 재배열을 사용할 경우, 표준 가정 하에서 수렴 속도를 $\mathcal{O}(1/T^2)$로 향상시킬 수 있는가?
• RQ4 간헐적 또는 비균일한 참여 조건이 적용될 경우, 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 이론적 개선 사항은 다양한 데이터셋과 클라이언트 구성에서 경험적으로 검증될 수 있는가?

주요 결과

• 제안된 RR-CLI 방법은 랜덤 샘플링을 사용하는 표준 FedAvg의 $\mathcal{O}(1/T)$ 수렴 속도보다 더 빠른 $\mathcal{O}(1/T^2)$ 수렴 속도를 달성합니다.
• 수렴 한계의 최적화 항은 통신 라운드 수와 로컬 데이터셋 크기의 곱에 따라 선형적으로 감소하여 확장성 향상이 가능합니다.
• 통계 항은 단순 선형 대신 학습률의 제곱에 비례하여 증가하여 노이즈의 영향을 줄이고 일반화 성능을 향상시킵니다.
• 메타에포크당 각 클라이언트가 한 번 이상 참여하는 한, 임의의 클라이언트 가용성 조건에서도 수렴 보장을 유지합니다.
• 이론적 분석에 따르면, 클라이언트 수준의 재배열로 인한 분산 감소 효과는 $R$(메타에포크 길이)가 클수록 더욱 뚜렷한 더 견고한 수렴 한계를 이룹니다.
• 경험적 결과는 이론적 발견을 뒷받침하며, a3a 및 w3a와 같은 실제 데이터셋을 사용한 로지스틱 회귀 작업에서 향상된 학습 성능을 보여줍니다.