[논문 리뷰] Client Selection in Federated Learning based on Gradients Importance

Ouiame Marnissi, Hajar El Hammouti외 1명|arXiv (Cornell University)|2021. 11. 19.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 통신 효율성과 수렴 속도를 향상시키기 위해 로컬 그래디언트의 L2 노름을 기반으로 장치를 선택하는 플러드레이티드 학습에서의 클라이언트 선택 전략을 제안한다. 가장 높은 그래디언트 노름을 가진 클라이언트를 우선시함으로써, 특히 비i.i.d. 데이터 조건에서 랜덤 선택 대비 최대 14% 높은 테스트 정확도를 달성하며, 그래디언트 노름 계산 외에 추가적인 계산 비용이 거의 들지 않는다는 점에서 뛰어난 성능을 발휘한다.

ABSTRACT

Federated learning (FL) enables multiple devices to collaboratively learn a global model without sharing their personal data. In real-world applications, the different parties are likely to have heterogeneous data distribution and limited communication bandwidth. In this paper, we are interested in improving the communication efficiency of FL systems. We investigate and design a device selection strategy based on the importance of the gradient norms. In particular, our approach consists of selecting devices with the highest norms of gradient values at each communication round. We study the convergence and the performance of such a selection technique and compare it to existing ones. We perform several experiments with non-iid set-up. The results show the convergence of our method with a considerable increase of test accuracy comparing to the random selection.

연구 동기 및 목표

• 제한된 대역폭과 이질적인 데이터 분포로 인한 플러드레이티드 학습의 통신 비효율성 문제를 해결하기 위해.
• 비i.i.i.d. 데이터 환경에서 지능적인 클라이언트 선택을 통해 수렴 속도와 모델 정확도를 향상시키기 위해.
• 손실 계산과 같은 비용이 많이 드는 연산을 피하면서도 손실 기반 선택 전략과 비교해 유사한 성능을 유지를 하기 위해.
• 제안된 선택 메커니즘에 대한 이론적 수렴 보장을 제공하기 위해.
• 다양한 데이터셋에서 선택된 클라이언트 수가 모델 성능에 미치는 영향을 경험적으로 평가하기 위해.

제안 방법

• 각 통신 라운드에서 클라이언트를 로컬 그래디언트 벡터의 L2 노름 기반으로 선택한다.
• 가장 높은 그래디언트 노름을 가진 클라이언트가 참여를 우선시되며, 이는 모델 업데이트에 더 기여할 것이라 가정한다.
• 선택 과정은 가벼운 부담을 지니며, 손실 평가 없이 그래디언트 노름 계산만으로 이루어진다.
• 선택된 클라이언트들은 그래디언트를 서버로 전송하여 집계하는 플러드레이티드 평균화 프레임워크에 통합된다.
• 이론적 분석을 통해 제안된 선택 규칙 하에서의 수렴을 입증하였으며, 특히 비i.i.d. 환경에서 강력한 성능을 보인다.
• 실험에서는 MNIST, FMNIST, CIFAR-10 데이터셋에서 랜덤 선택 및 최고 손실 기반 선택 전략과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 그래디언트 노름 크기를 기반으로 클라이언트를 선택하는 것이 플러드레이티드 학습에서 수렴 속도와 테스트 정확도 향상에 기여하는가?
• RQ2 그래디언트 노름 기반 선택 전략이 랜덤 선택 및 손실 기반 선택 전략과 비교해 성능 및 계산 비용 측면에서 어떻게 다른가?
• RQ3 다양한 데이터셋과 데이터 이질성 수준에서 최고의 모델 정확도를 달성하기 위해 최적의 클라이언트 수는 얼마인가?
• RQ4 손실 기반 선택 전략과 비교해 추가 계산 비용이 거의 들지 않으면서도 강력한 성능을 유지하는가?
• RQ5 데이터 이질성(β로 제어)이 그래디언트 노름 기반 선택 전략의 상대적 성능에 미치는 영향은 어떠한가?

주요 결과

• 150회의 통신 라운드에서, 그래디언트 노름 기반 선택 전략은 β=0.3일 때 MNIST에서 81.6%의 테스트 정확도를 달성했으며, 이는 랜덤 선택 대비 14% 향상된 성능이다.
• 동일한 데이터셋에서, 이 방법은 150번째 반복에서 랜덤 선택 대비 학습 손실을 8% 감소시켰다.
• 데이터 이질성이 낮을 경우(β=5), 랜덤 선택이 제안된 방법과 거의 유사한 성능을 보였으며, 이는 데이터가 덜 왜곡된 조건에서는 성능 향상의 이점이 줄어듦을 시사한다.
• FMNIST에서는 15대의 장치를 그래디언트 노름 기반 선택으로 선정했을 때, 150라운드에서 71.6%의 정확도를 기록했으며, 다른 선택 수와 비교해 뛰어난 성능을 보였다.
• FMNIST에서 85대의 장치를 선택했을 경우, 그래디언트 노름 기반 선택 전략과 손실 기반 선택 전략의 성능이 거의 동일했으며, 이는 고참여율 조건에서 두 전략이 유사한 효과를 가진다는 것을 보여준다.
• MNIST와 CIFAR-10에서는 25대의 클라이언트를 선택했을 때 가장 높은 정확도를 달성했으며, FMNIST에서는 15대의 클라이언트 선택이 최적임을 확인했으며, 이는 데이터셋에 따라 최적의 선택 크기가 달라짐을 의미한다.