[논문 리뷰] Federated Learning on Non-IID Data Silos: An Experimental Study

Qinbin Li, Yiqun Diao외 2명|arXiv (Cornell University)|2021. 02. 03.

Privacy-Preserving Technologies in Data참고 문헌 81인용 수 82

한 줄 요약

논문은 다양한 비IID 데이터 실로에서 연합학습을 평가하기 위한 포괄적 벤치마크인 NIID-Bench를 제시하고, 아홉 개의 데이터셋에 걸친 네 가지 FL 알고리즘을 실증적으로 분석하며 단일 방법이 우위를 점하지 못하고 비IID 분포가 성능에 상당한 영향을 미친다는 것을 보여준다.

ABSTRACT

Due to the increasing privacy concerns and data regulations, training data have been increasingly fragmented, forming distributed databases of multiple "data silos" (e.g., within different organizations and countries). To develop effective machine learning services, there is a must to exploit data from such distributed databases without exchanging the raw data. Recently, federated learning (FL) has been a solution with growing interests, which enables multiple parties to collaboratively train a machine learning model without exchanging their local data. A key and common challenge on distributed databases is the heterogeneity of the data distribution among the parties. The data of different parties are usually non-independently and identically distributed (i.e., non-IID). There have been many FL algorithms to address the learning effectiveness under non-IID data settings. However, there lacks an experimental study on systematically understanding their advantages and disadvantages, as previous studies have very rigid data partitioning strategies among parties, which are hardly representative and thorough. In this paper, to help researchers better understand and study the non-IID data setting in federated learning, we propose comprehensive data partitioning strategies to cover the typical non-IID data cases. Moreover, we conduct extensive experiments to evaluate state-of-the-art FL algorithms. We find that non-IID does bring significant challenges in learning accuracy of FL algorithms, and none of the existing state-of-the-art FL algorithms outperforms others in all cases. Our experiments provide insights for future studies of addressing the challenges in "data silos".

연구 동기 및 목표

• 수평 연합학습에서 분산된 데이터 실로 간의 비IID 데이터의 주요 과제를 식별한다.
• 제어된 불균형 특성을 가능하게 하는 여섯 가지 분할 전략으로 포괄적인 비IID 데이터 벤치마크(NIID-Bench)를 개발한다.
• 다양한 비IID 설정에서 최신 FL 알고리즘(FedAvg, FedProx, SCAFFOLD, FedNova)을 평가한다.
• 향후 FL 연구를 이끄는 공개 리더보드를 제공하고 인사이트를 제공한다.

제안 방법

• 레이블 왜곡, 특징 왜곡, 양의 왜곡을 모두 다루는 여섯 가지 비IID 분할 전략을 도입한다.
• 실제 데이터셋을 분할하여 제어된 불균형 속성을 가능하게 하는 분산 비IID 데이터셋을 합성한다.
• 공개 코드와 리더보드가 있는 NIID-Bench를 구현한다(논문에 링크 제공).
• 표준 CNN/MLP 아키텍처와 SGD 최적화를 사용하여 이미지 및 표 형태의 아홉 개 데이터셋으로 실험한다.
• 네 가지 FL 알고리즘(FedAvg, FedProx, SCAFFOLD, FedNova)을 라운드별로 비교하고 Top-1 정확도를 지표로 사용한다.
• 데이터 왜곡 유형이 수렴, 안정성, 최종 정확도에 어떻게 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 분산된 데이터 실로에서 일반적인 FL 알고리즘이 광범위한 비IID 데이터 분포에서 어떻게 성능을 발휘하는가?
• RQ2 어떤 비IID 분할 전략이 각 FL 알고리즘의 강점과 약점을 드러내는가?
• RQ3 다양한 비IID 시나리오 전반에 걸쳐 일관되게 다른 알고리즘을 능가하는 단일 알고리즘이 존재하는가?
• RQ4 데이터 왜곡(레이블, 특징, 양) 가 학습의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 NIID-Bench가 비IID 데이터 실로에서의 강건한 연합학습의 향후 방향에 어떤 시사점을 제공하는가?

주요 결과

카테고리	데이터셋	파티셔닝	FedAvg	FedProx	SCAFFOLD	FedNova
Label distribution skew	MNIST	p_k ~ Dir(0.5)	98.9% ± 0.1%	98.9% ± 0.1%	99.0% ± 0.1%	98.9% ± 0.1%
Label distribution skew	FMNIST	p_k ~ Dir(0.5)	88.1% ± 0.6%	88.1% ± 0.9%	88.4% ± 0.5%	88.5% ± 0.5%
Label distribution skew	CIFAR-10	p_k ~ Dir(0.5)	68.2% ± 0.7%	67.9% ± 0.7%	69.8% ± 0.7%	66.8% ± 1.5%
Label distribution skew	SVHN	p_k ~ Dir(0.5)	86.1% ± 0.7%	86.6% ± 0.9%	86.8% ± 0.3%	86.4% ± 0.6%
Quantity skew	MNIST	q ~ Dir(0.5)	99.2% ± 0.1%	99.2% ± 0.1%	99.1% ± 0.1%	99.1% ± 0.1%
Quantity skew	FMNIST	q ~ Dir(0.5)	89.4% ± 0.1%	89.7% ± 0.3%	88.8% ± 0.4%	86.1% ± 2.9%

• 비IID 데이터가 FL 알고리즘의 학습 정확도를 크게 저하시킨다.
• 모든 비IID 설정에 걸쳐 단일 최첨단 FL 알고리즘이 지배하지 않는다.
• 레이블 분포 왜곡이 양 왜곡보다 일반적으로 더 도전적이다.
• 배치 정규화와 부분 샘플링으로 인한 학습의 불안정성이 비IID FL에서 널리 나타난다.
• NIID-Bench는 서로 다른 왜곡 유형에 따라 알고리즘 성능이 다양하게 나타난다는 것을 밝히며 포괄적 벤치마크의 필요성을 강조한다.
• 향후 평가를 용이하게 하는 공개 리더보드와 코드베이스가 제공된다.