[논문 리뷰] Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data

Chengxu Yang, Qipeng Wang외 5명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data참고 문헌 65인용 수 10

한 줄 요약

이 논문은 136,000台의 실세계 스마트폰 데이터를 활용하여 피어드 학습(Federated Learning)에서 하드웨어 및 상태 이질성의 영향에 대한 최초의 대규모 실증 연구를 제시한다. 이는 이질성 인지 플랫폼을 도입하여, 이질성이 최대 9.2%의 정확도 저하와 2.32배의 더 긴 학습 시간을 유발하며, 기기 장애와 참가자 편향이 주요 열화 요인임을 입증한다.

ABSTRACT

Federated learning (FL) is an emerging, privacy-preserving machine learning paradigm, drawing tremendous attention in both academia and industry. A unique characteristic of FL is heterogeneity, which resides in the various hardware specifications and dynamic states across the participating devices. Theoretically, heterogeneity can exert a huge influence on the FL training process, e.g., causing a device unavailable for training or unable to upload its model updates. Unfortunately, these impacts have never been systematically studied and quantified in existing FL literature. In this paper, we carry out the first empirical study to characterize the impacts of heterogeneity in FL. We collect large-scale data from 136k smartphones that can faithfully reflect heterogeneity in real-world settings. We also build a heterogeneity-aware FL platform that complies with the standard FL protocol but with heterogeneity in consideration. Based on the data and the platform, we conduct extensive experiments to compare the performance of state-of-the-art FL algorithms under heterogeneity-aware and heterogeneity-unaware settings. Results show that heterogeneity causes non-trivial performance degradation in FL, including up to 9.2% accuracy drop, 2.32x lengthened training time, and undermined fairness. Furthermore, we analyze potential impact factors and find that device failure and participant bias are two potential factors for performance degradation. Our study provides insightful implications for FL practitioners. On the one hand, our findings suggest that FL algorithm designers consider necessary heterogeneity during the evaluation. On the other hand, our findings urge system providers to design specific mechanisms to mitigate the impacts of heterogeneity.

연구 동기 및 목표

• 대규모 스마트폰 데이터를 활용하여 실세계에서의 하드웨어 및 상태 이질성의 영향을 체계적으로 분석하는 것.
• 기존 피어드 학습 연구에서 일반적으로 이상적이고 균일한 시뮬레이션에 의존하는 점을 감안해, 실증적 검증의 부족을 보완하는 것.
• 최신 피어드 학습 알고리즘을 이질성 인지 및 이질성 무시 설정에서 평가하여 성능 저하 정도를 정량화하는 것.
• 실제 피어드 학습 환경에서 성능 저하의 근본 원인, 예를 들어 기기 장애와 참가자 편향을 특정하는 것.
• 이질성에 기인한 문제를 완화하기 위해 피어드 학습 알고리즘 설계자와 시스템 제공자에게 실질적인 통찰을 제공하는 것.

제안 방법

• 동남아시아 및 라틴 아메리카에서 앱 전용 측정 캠프에 참여한 136,000대의 스마트폰으로부터 실세계 기기 상태 트레이스(프로세서 사용률, 네트워크 상태, 배터리 등)를 수집하였다.
• 표준 피어드 학습 프로토콜을 준수하는 이질성 인지 플랫폼을 구축하였으며, 실질적인 기기 이질성(하드웨어 및 동적 상태)을 통합하였다.
• 기기 상태 트레이스와 학습 데이터 분포를 분리하여, 벤치마크 데이터셋 간의 일반화를 가능하게 하면서도 실질적인 이질성 패턴을 유지하였다.
• FedAvg, q-FedAvg 등의 피어드 학습 알고리즘을 이질성 인지 및 이질성 무시 설정에서 비교한 광범위한 실험을 수행하였다.
• M-Type 데이터셋을 사용하여 분리 설계의 타당성을 검증하였으며, 이질성 영향이 데이터 분포 기울기보다 더 우세함을 확인하였다.
• 기기 가용성과 시간에 따른 장애율을 분석하여 수렴성 및 공정성에 미치는 영향을 정량화하였다.

실험 결과

연구 질문

• RQ1 실세계 스마트폰의 하드웨어 및 상태 이질성이 피어드 학습의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ2 기존 최신 피어드 학습 알고리즘이 이상적 시뮬레이션 대비 실질적인 이질성 환경에서 얼마나 성능이 저하되는가?
• RQ3 기기 장애와 참가자 편향 중 어떤 요소가 이질적 피어드 학습 환경에서 성능 저하의 주요 원인인가?
• RQ4 기기 상태 트레이스를 데이터 분포에서 분리하는 것은 실험 결과의 일반화 가능성에 어떤 영향을 미치는가?
• RQ5 관찰된 성능 저하 패턴은 구글의 피어드 학습 시스템과 같은 실세계 피어드 학습 구현 사례와 일치하는가?

주요 결과

• 실세계 스마트폰의 이질성은 이상적이고 균일한 환경 대비 최대 9.2%의 정확도 저하를 유발한다.
• 기기 장애와 일관되지 않은 참여로 인해 학습 수렴 시간이 최대 2.32배 증가하여 피어드 학습 프로세스가 크게 지연된다.
• 변동하는 프로세서 사용률과 네트워크 불안정성 등의 상태 이질성은 하드웨어 차이만으로도 성능 저하에 더 큰 영향을 미친다.
• 기기 장애와 참가자 편향은 피어드 학습에서 모델 정확도와 공정성 저하에 기여하는 두 주요 요인로 규명되었다.
• 성능 저하는 실제 피어드 학습 구현 사례, 예를 들어 구글의 시스템과 일치하여 플랫폼의 현실성과 신뢰성을 입증한다.
• q-FedAvg와 같은 고도로 발전된 피어드 학습 알고리즘조차도 실질적인 이질성 환경에서는 심각하게 성능이 저하되어 알고리즘 설계 단계에서 재평가가 필요함을 시사한다.