[논문 리뷰] Heterogeneity-Aware Federated Learning.

Chenxu Yang, QiPeng Wang외 4명|arXiv (Cornell University)|2020. 06. 12.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 기기 수준의 이질성(예: 다양한 하드웨어 및 사용자 행동)이 FL 성능에 미치는 영향을 체계적으로 연구하기 위해, 처음으로 이질성 인지 기반의 분산 학습 플랫폼인 FLASH를 제안한다. 136,000명의 사용자로부터 확보한 실세계 트레이스를 바탕으로, 이질성이 FL 성능을 심각하게 악화시키고 일반적인 최적화 기법들을 무효화함을 입증하며, 이에 따라 맞춤형 시스템 설정이 필수적임을 시사한다.

ABSTRACT

Federated learning (FL) is an emerging distributed machine learning paradigm that stands out with its inherent privacy-preserving advantages. Heterogeneity is one of the core challenges in FL, which resides in the diverse user behaviors and hardware capacity across devices who participate in the training. Heterogeneity inherently exerts a huge influence on the FL training process, e.g., causing device unavailability. However, existing FL literature usually ignores the impacts of heterogeneity. To fill in the knowledge gap, we build FLASH, the first heterogeneity-aware FL platform. Based on FLASH and a large-scale user trace from 136k real-world users, we demonstrate the usefulness of FLASH in anatomizing the impacts of heterogeneity in FL by exploring three previously unaddressed research questions: whether and how can heterogeneity affect FL performance; how to configure a heterogeneity-aware FL system; and what are heterogeneity's impacts on existing FL optimizations. It shows that heterogeneity causes nontrivial performance degradation in FL from various aspects, and even invalidates some typical FL optimizations.

연구 동기 및 목표

• 분산 학습(FL) 연구 분야에서 다양한 하드웨어 및 사용자 행동을 포함한 기기 이질성의 영향에 대한 핵심적 격차를 보완하기 위해.
• 이질성이 기기 가용성 및 수렴 속도 저하와 같은 FL 학습 성능에 미치는 영향을 조사하기 위해.
• 더 나은 내성과 효율성을 확보하기 위해 이질성 인지 기반의 FL 시스템을 어떻게 구성할 것인지 탐색하기 위해.
• 기존 FL 최적화 기법들이 이질적 조건에서 어떻게 작동하는지 평가하고, 표준 접근 방식이 실제로 무효화되는지 파악하기 위해.

제안 방법

• 실세계 기기 이질성을 시뮬레이션하고 분석하기 위해 설계된 새로운 이질성 인지 기반 FL 플랫폼인 FLASH를 구축했다.
• 실제 사용자 136,000명으로부터 확보한 대규모 사용자 트레이스를 수집하고 분석하여 현실적인 기기 행동과 하드웨어 다양성을 모델링했다.
• 다양한 기기 가용성, 계산 능력, 통신 대역폭을 반영하기 위해 FLASH 내에서 시스템 수준의 구성 설정을 설계했다.
• 표준 FL 최적화 기법들(예: FedAvg, 개인화된 FL)을 이질적 조건 하에서 평가하여 그 내성 여부를 점검했다.
• 트레이스 기반 시뮬레이션을 통해 이질성으로 인한 성능 저하를 여러 메트릭에 걸쳐 고립하고 측정했다.
• 학습 파이프라인에 통제 가능한 이질성을 주입함으로써 연구 질문에 대한 체계적 탐색을 가능하게 했다.

실험 결과

연구 질문

• RQ1 실세계 환경에서 기기 이질성이 분산 학습 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ2 기기 행동 및 하드웨어의 이질성에 대응하기 위해 분산 학습 시스템은 어떻게 구성해야 하는가?
• RQ3 기존 FL 최적화 기법들은 이질적 조건에서 어떻게 작동하며, 그 효과성이 유지되는가?

주요 결과

• 이질성은 수렴 속도 및 모델 정확도를 포함한 여러 차원에서 분산 학습 성능에 상당한 저하를 초래한다.
• 기기 이질성으로 인한 가용성 상실이 학습 과정을 심각하게 방해하며, 이로 인해 수렴 시간이 길어진다.
• 실제 이질적 조건 하에서는 표준 FL 최적화 기법들(예: FedAvg)이 효과가 없거나 최적의 성능을 내지 못한다.
• 다수의 기존 FL 알고리즘은 이질성으로 인해 기반하는 가정이 무너지며, 실질적으로 이론적 보장이 무효화된다.
• 안정적이고 효율적인 FL 학습을 달성하기 위해 시스템 설정을 기기 다양성에 명시적으로 대응하도록 조정해야 한다.
• 이질성의 영향은 균일하지 않으며, 기기 능력 분포 및 사용자 활동 패턴에 따라 달라진다.