[논문 리뷰] Towards Federated Learning: Robustness Analytics to Data Heterogeneity.

Jia Qian, Xenofon Fafoutis외 1명|arXiv (Cornell University)|2020. 02. 12.

Privacy-Preserving Technologies in Data참고 문헌 6인용 수 8

한 줄 요약

이 논문은 데이터 이질성 하에서 연합 학습(FL)의 강건성에 대해 조사하며, 엣지 장치의 클래스 분포 이탈과 엣지에서의 능동적 샘플링에 초점을 맞춘다. 광범위한 평가를 통해 실험적으로 FL이 편향된 데이터 분포가 존재하더라도 효과적이고 정확하게 유지됨을 보여주며, 두 상황 모두에서 강력한 내성적 저항성을 보인다.

ABSTRACT

Federated Learning allows remote centralized server training models without to access the data stored in distributed (edge) devices. Most work assume the data generated from edge devices is identically and independently sampled from a common population distribution. However, such ideal sampling may not be realistic in many contexts where edge devices correspond to units in variable context. Also, models based on intrinsic agency, such as active sampling schemes, may lead to highly biased sampling. So an imminent question is how robust Federated Learning is to biased sampling? In this work, we investigate two such scenarios. First, we study Federated Learning of a classifier from data with edge device class distribution heterogeneity. Second, we study Federated Learning of a classifier with active sampling at the edge. We present evidence in both scenarios, that federated learning is robust to data heterogeneity.

연구 동기 및 목표

• 엣지 장치에서 비독립 동일분포(iid)가 아닌 데이터 분포를 보일 때 연합 학습의 강건성을 평가하는 것, 특히 클래스 불균형 상황에서의 평가.
• 능동적 샘플링 전략이 FL 환경에서 모델 수렴 및 성능에 미치는 영향을 평가하는 것.
• FL이 독립 동일분포 가정을 초월한 현실적인 데이터 이질성 하에서도 높은 정확도와 안정성을 유지할 수 있는지 판단하는 것.
• 실제 비이상적인 데이터 수집 환경에서 FL의 내성적 저항성을 실험적으로 입증하는 것.

제안 방법

• 저자들은 엣지 장치 간 비독립 동일분포(iid) 데이터 분포를 가진 클라이언트 측 분류기 학습 파이프라인을 설계하고 평가한다.
• 실제 장치 환경의 다양성을 반영하기 위해 다양한 엣지 장치에 서로 다른 클래스 분포를 할당하여 데이터 이질성을 시뮬레이션한다.
• 능동적 샘플링을 위해, 장치들이 불확실성 또는 정보성에 기반해 데이터를 선택하는 내재된 기관 메커니즘을 구현하여 학습 데이터에 편향을 유도한다.
• 다양한 이질성 수준에서 다수의 라운드 동안 FedAvg 또는 유사한 집계 방법을 통해 글로벌 모델을 훈련하고 성능을 평가한다.
• 모델 행동 평가를 위해 테스트 정확도, 수렴 속도, 분포 이탈에 대한 강건성과 같은 표준 지표를 사용한다.

실험 결과

연구 질문

• RQ1 엣지 장치 간 클래스 분포의 데이터 이질성이 연합 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ2 엣지 장치가 능동적 샘플링 전략을 사용할 경우, 연합 학습이 높은 정확도와 수렴 안정성을 유지할 수 있는가?
• RQ3 장치 수준의 의사결정에 의해 유도된 편향된 데이터 샘플링에 대해 연합 학습이 어느 정도 강건한가?
• RQ4 클라이언트 간의 다양한 수준의 데이터 불균형이 글로벌 모델의 일반화에 어떤 영향을 미치는가?

주요 결과

• 연합 학습은 엣지 장치의 매우 불균형한 클래스 분포가 존재하더라도 높은 테스트 정확도를 유지하며, 데이터 이질성에 대해 강력한 내성적 저항성을 보여준다.
• 중대한 비독립 동일분포(iid) 데이터가 존재하더라도 모델은 안정적으로 수렴하고 경쟁력 있는 성능을 달성하며, FedAvg가 클래스 분포 이탈에 대해 강건함을 보여준다.
• 엣지에서의 능동적 샘플링은 데이터 편향을 유도하지만, 글로벌 모델은 여전히 잘 일반화되며, FL이 기관 기반 샘플링 편향을 견딜 수 있음을 보여준다.
• 동일한 데이터를 사용한 중심화된 훈련과 비교할 때 이질성 하에서의 성능 저하는 미미하며, 이는 실세계 환경에서 FL의 실용적 타당성을 강조한다.