[논문 리뷰] On the Impact of Device and Behavioral Heterogeneity in Federated Learning

Ahmed M. Abdelmoniem, Chen-Yu Ho외 3명|arXiv (Cornell University)|2021. 02. 15.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 12

한 줄 요약

이 논문은 페더레이티드 러닝(FL)에서 장치 및 행동 이질성의 영향을 종합적으로 실증적으로 연구하며, 다섯 가지 벤치마크에서 1,500개 이상의 설정을 평가한다. 이질성이 평균 모델 정확도를 최대 4.6배까지 떨어뜨리고 공정성은 최대 2.2배까지 악화시킬 수 있음을 밝혀냈으며, 장치 이질성이 성능에 악영향을 주고 행동 이질성이 공정성에 영향을 준다.

ABSTRACT

Federated learning (FL) is becoming a popular paradigm for collaborative learning over distributed, private datasets owned by non-trusting entities. FL has seen successful deployment in production environments, and it has been adopted in services such as virtual keyboards, auto-completion, item recommendation, and several IoT applications. However, FL comes with the challenge of performing training over largely heterogeneous datasets, devices, and networks that are out of the control of the centralized FL server. Motivated by this inherent setting, we make a first step towards characterizing the impact of device and behavioral heterogeneity on the trained model. We conduct an extensive empirical study spanning close to 1.5K unique configurations on five popular FL benchmarks. Our analysis shows that these sources of heterogeneity have a major impact on both model performance and fairness, thus sheds light on the importance of considering heterogeneity in FL system design.

연구 동기 및 목표

• 장치 및 행동 이질성이 페더레이티드 러닝 모델 성능과 공정성에 미치는 영향을 조사하는 것.
• 하이퍼파라미터 및 시스템 설정이 실제 FL 구현 환경에서 이질성 영향을 어떻게 악화시키는지 규명하는 것.
• 기존 FL 알고리즘이 이질성으로 인한 성능 저하와 편향을 효과적으로 완화할 수 있는지 평가하는 것.
• 실제 운영 환경에서 더 견고하고 공정한 FL 시스템 설계를 위한 실증적 근거를 제공하는 것.

제안 방법

• FEMNIST, Shakespeare, Reddit, CelebA, Synthetic의 다섯 가지 표준 FL 벤치마크에서 광범위한 실증 평가를 수행하였다.
• 장치 성능, 네트워크 조건, 클라이언트 가용성, 샘플링 전략을 다양화하여 1,500개 이상의 고유한 학습 시나리오를 구성하였다.
• 스트레일러 및 변동하는 연결성을 포함한 실제적인 장치 및 행동 이질성을 시뮬레이션하기 위해 Flash 프레임워크를 사용하였다.
• 모든 클라이언트에서 정규화된 테스트 정확도와 Jain의 공정성 지수를 사용해 모델 성능과 공정성 측정하였다.
• 학습률, 배치 크기, FL 집계 빈도, 클라이언트 샘플링 정책을 체계적으로 변화시켜 민감도를 평가하였다.
• 수렴 행동을 분석하고 높은 이질성 하에서 모델 발산이 발생하는 경우를 규명하였다.

실험 결과

연구 질문

• RQ1 장치 이질성은 페더레이티드 모델의 평균 정확도와 공정성에 어떤 영향을 미치는가?
• RQ2 클라이언트 이탈 및 가용성에 의해 유도되는 행동 이질성은 모델의 공정성을 얼마나 악화시키는가?
• RQ3 이질적 조건 하에서 FL 학습 과정은 하이퍼파라미터 선택에 얼마나 민감한가?
• RQ4 기존의 FL 알고리즘이 장치 및 행동 이질성으로 인한 성능 및 공정성 저하를 효과적으로 완화할 수 있는가?

주요 결과

• 장치 이질성만으로도 평균 모델 정확도가 균일한 기준 설정 대비 최대 4.6배까지 감소할 수 있다.
• 행동 이질성은 Jain의 공정성 지수로 측정했을 때 모델 공정성에 최대 2.2배의 저하를 초래한다.
• 장치 이질성과 행동 이질성이 병합된 이질적 환경(DH + BH)에서는 모델 성능과 공정성이 심각하게 악화되며, 실험의 50%가 기준 대비 테스트 정확도가 0.88배 이하에 머무른다.
• 이질성은 종종 모델 발산을 유도하여 극단적인 경우 학습 과정이 효과를 잃게 한다.
• 모델이 수렴하더라도 이질성 수준과 평균 정확도 및 공정성 간에 강한 음의 상관관계가 존재한다.
• 기존의 완화 알고리즘인 Q-FFL은 장치 및 행동 이질성으로 인한 성능 및 공정성 저하를 상쇄하는 데 제한된 효과를 보였다.