[논문 리뷰] DELTA: Diverse Client Sampling for Fasting Federated Learning

Lin Wang, Yongxin Guo외 2명|arXiv (Cornell University)|2022. 05. 27.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

DELTA는 부분적 참여에서 발생하는 비표본성에 기인한 수렴 속도 저하와 높은 분산 문제를 해결하기 위해, 높은 기울기 노름과 낮은 기울기 유사도를 가진 클라이언트를 선택하는 편향 없는 다각도 클라이언트 샘플링 전략을 제안한다. 부분 참여에 의한 분산을 최소화하고 클라이언트 다양성을 활용함으로써, CIFAR-10, FashionMNIST, FEMNIST 등 다양한 데이터셋과 최적화 알고리즘에서 FedAvg, FedIS, 클러스터 기반 IS보다 더 빠른 수렴 속도와 높은 정확도를 달성한다.

ABSTRACT

Partial client participation has been widely adopted in Federated Learning (FL) to reduce the communication burden efficiently. However, an inadequate client sampling scheme can lead to the selection of unrepresentative subsets, resulting in significant variance in model updates and slowed convergence. Existing sampling methods are either biased or can be further optimized for faster convergence.In this paper, we present DELTA, an unbiased sampling scheme designed to alleviate these issues. DELTA characterizes the effects of client diversity and local variance, and samples representative clients with valuable information for global model updates. In addition, DELTA is a proven optimal unbiased sampling scheme that minimizes variance caused by partial client participation and outperforms other unbiased sampling schemes in terms of convergence. Furthermore, to address full-client gradient dependence,we provide a practical version of DELTA depending on the available clients' information, and also analyze its convergence. Our results are validated through experiments on both synthetic and real-world datasets.

연구 동기 및 목표

• 부분적 참여에서 비표본적인 클라이언트 샘플링으로 인한 느린 수렴 속도와 높은 분산 문제를 해결한다.
• 중요도 샘플링(IS) 및 클러스터 기반 IS와 같은 기존의 편향 없는 샘플링 방법의 한계를 극복한다. 이러한 방법들은 후반기 단계에서 중복 업데이트 또는 느린 수렴 문제를 겪는다.
• 다양한 정보를 제공하는 클라이언트 업데이트를 보장하기 위해 높은 기울기 노름과 낮은 기울기 유사도를 균형 있게 고려한 샘플링 전략을 설계한다.
• 완전한 클라이언트 기울기 의존 없이도 이용 가능한 클라이언트 정보만으로도 실용적이고 수렴 보장이 가능한 방법을 제공한다.
• 다양한 데이터셋, 모델 아키텍처, 최적화 알고리즘(예: Adam, Adagrad)에서 DELTA의 유효성을 입증한다.

제안 방법

• DELTA는 부분적 클라이언트 참여 하에서 글로벌 모델 업데이트의 분산을 최소화하는 최적화 문제로 클라이언트 샘플링을 수립한다.
• 선택된 클라이언트들과의 기울기 유사도가 낮고 국소 기울기 노름이 높은 클라이언트를 선택함으로써 다양성을 증진한다.
• 기울기 크기와 이미 선택된 클라이언트들과의 유사도를 통합한 다양성 인식 점수를 계산하는 그레디에이티브 선택 전략을 사용한다.
• 실용적 변형인 FedPracDELTA를 제안하며, 전체 기울기 계산 없이도 가용 클라이언트 정보(예: 활성 클라이언트의 국소 기울기)에 의존한다.
• 이론적 분석을 통해 DELTA가 분산을 최소화하는 최적의 편향 없는 샘플링 기법임을 증명하며, 온건한 가정 하에 수렴 속도를 유도한다.
• 실험적으로 DELTA는 FedAvg에 통합되어 FedDELTA로 구현되며, FedIS 및 FedAvg와 비교된다.

실험 결과

연구 질문

• RQ1 기울기 크기와 기울기 다양성을 균형 있게 고려한 클라이언트 샘플링 전략이, 균일 샘플링 및 중요도 샘플링보다 수렴 속도와 정확도 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 데이터 이질성과 중복 업데이트를 줄이는 데 있어, DELTA는 클러스터 기반 IS 및 표준 IS와 비교해 어떻게 성능을 내는가?
• RQ3 완전한 클라이언트 기울기가 가용하지 않은 상황에서 실용적 변형인 FedPracDELTA는 수렴 보장을 유지하고 성능을 유지를 할 수 있는가?
• RQ4 다양한 비독립 동일 분포(Non-IID)에서 제어되는 α 수준에 따라 변화하는 데이터 이질성에 대해 DELTA는 얼마나 강건한가?
• RQ5 DELTA는 FedVARP와 같은 분산 감소 기법과 효과적으로 조합될 수 있으며, Adam 및 Adagrad와 같은 비표준 최적화 알고리즘에 적응 가능한가?

주요 결과

• Non-IID MNIST에서 DELTA는 252회의 커뮤니케이션 라운드 안에 65%의 정확도를 달성했으며, FedAvg(390라운드), FedIS(266라운드)를 모두 앞섰다.
• α=0.1인 FashionMNIST에서 DELTA는 436라운드 안에 74.22%의 정확도를 달성했으며, FedVARP(470라운드), FedIS+VARP(452라운드)를 모두 앞섰다.
• Adam을 사용한 CelebA에서 DELTA는 109라운드 안에 80%의 정확도를 달성했으며, FedAvg(244라운드), FedIS(140라운드)보다 2.24배 더 빠른 속도를 보였다.
• 절단 실험에서, α = 0.1에서 1.0까지 다양한 데이터 이질성 수준에서 DELTA는 FedIS 및 FedAvg를 일관되게 능가했으며, 정확도 향상 최대 0.7%를 기록했다.
• FedVARP와 조합했을 때, DELTA + FedVARP는 FashionMNIST에서 436라운드 안에 74.22%의 정확도를 달성했으며, 호환성과 누적적 이점을 입증했다.
• Adam을 사용한 FEMNIST에서 DELTA는 109라운드 안에 90.58%의 정확도를 달성했으며, FedAvg(89.04% in 244 rounds), FedIS(89.92% in 140 rounds)를 크게 앞섰다.