[논문 리뷰] Evaluation Framework For Large-scale Federated Learning

Lifeng Liu, Fengda Zhang외 2명|arXiv (Cornell University)|2020. 03. 03.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 9

한 줄 요약

이 논문은 비독립동일분포(non-IID) 데이터셋과 종합적인 평가 지표를 갖춘 모듈식 벤치마크를 제공하는 오픈소스 평가 프레임워크를 제안한다. 비독립동일분포 데이터 생성 방법으로 코바리에이트 시프트, 사전 확률 시프트, 컨셉 시프트를 도입하고, 통신 라운드 수, 노드 수, 데이터 품질 등 통신 라운드 수, 노드 수, 데이터 품질 지표를 사용해 FL 알고리즘을 평가하여, 데이터 편향이 클수록 모델 정확도가 떨어지고 오류율이 높아지며 성능이 저하됨을 입증한다.

ABSTRACT

Federated learning is proposed as a machine learning setting to enable distributed edge devices, such as mobile phones, to collaboratively learn a shared prediction model while keeping all the training data on device, which can not only take full advantage of data distributed across millions of nodes to train a good model but also protect data privacy. However, learning in scenario above poses new challenges. In fact, data across a massive number of unreliable devices is likely to be non-IID (identically and independently distributed), which may make the performance of models trained by federated learning unstable. In this paper, we introduce a framework designed for large-scale federated learning which consists of approaches to generating dataset and modular evaluation framework. Firstly, we construct a suite of open-source non-IID datasets by providing three respects including covariate shift, prior probability shift, and concept shift, which are grounded in real-world assumptions. In addition, we design several rigorous evaluation metrics including the number of network nodes, the size of datasets, the number of communication rounds and communication resources etc. Finally, we present an open-source benchmark for large-scale federated learning research.

연구 동기 및 목표

• 비독립동일분포 데이터 조건 하에서 표준화되고 재현 가능한 벤치마크의 부족 문제를 해결하기 위해.
• 실제 세계의 데이터 시프트를 기반으로 현실적인 비독립동일분포 데이터셋을 생성하기 위한 확장성 있고 오픈소스인 프레임워크를 설계하고 공개하기 위해.
• 정확도 외에도 통신 라운드 수, 노드 수, 데이터 품질 요소를 포함한 종합적인 평가 지표 세트를 개발하기 위해.
• 다양한 시스템 및 데이터 이질성 환경에서 피드포워드 학습 알고리즘 간의 공정하고 체계적인 비교를 가능하게 하기 위해.
• 오픈소스 코드, 설정 도구, 데이터셋 생성 및 벤치마킹을 위한 문서화된 워크플로우를 제공하여 재현 가능한 연구를 지원하기 위해.

제안 방법

• 프레임워크는 세 가지 메커니즘을 통해 비독립동일분포 데이터셋을 생성한다: 코바리에이트 시프트(랜덤 분할), 사전 확률 시프트(라벨 기반 분할), 컨셉 시프트(맥락 기반 라벨 재정의).
• 프레임워크 내 프ofile 모듈을 통해 YAML 설정 파일을 통해 노드 수, 분할 모드, 데이터 편향 수준 등의 데이터셋 파라미터를 사용자가 구성할 수 있다.
• 평가 지표는 정확도를 넘어서 통신 라운드 수, 네트워크 노드 수, 데이터셋 크기, 통신 자원 사용량을 포함하여 종합적인 알고리즘 평가를 가능하게 한다.
• 프레임워크는 노드 수준의 데이터 분포를 기반으로 정규화 오차 지수를 사용해 데이터 분포 불균형을 정량화하는 NEI(비독립동일분포 평가) 모듈을 통합한다.
• 벤치마크는 기본 서비스, 데이터셋 생성, 평가 지표, 프로파일 설정을 포함하는 모듈식 플랫폼인 EFFL을 통해 구현되어 종단 간 재현 가능성을 보장한다.
• 프레임워크는 MNIST 및 CIFAR-10과 같은 인기 있는 데이터셋을 지원하며, 커뮤니티 재사용을 위해 GitHub에 코드와 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 피드포워드 학습에서 비독립동일분포 데이터 분포를 실제 세계의 타당한 시프트를 기반으로 체계적으로 생성하고 특성화할 수 있는가?
• RQ2 특히 시스템 이질성 하에서 표준 정확도 외에 어떤 평가 지표가 피드포워드 학습 알고리즘 간 공정한 비교를 위해 필수적인가?
• RQ3 다양한 정도의 데이터 편향(양과 라벨 분포)과 데이터 품질(예: 오류율)이 모델 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 비독립동일분포 데이터 구성에서 통신 효율성(라운드 수)과 모델 정확도 사이에 어떤 상관관계가 있는가?
• RQ5 모듈식이고 오픈소스인 벤치마크 프레임워크는 다양한 실험 환경에서 피드포워드 학습 알고리즘의 재현 가능하고 확장 가능한 평가를 가능하게 하는가?

주요 결과

• MNIST에서 양 편향 조건 하에서 3000회의 통신 라운드 시 모델 정확도는 96.33%에 도달했고, 라벨 분포 편향 조건에서는 동일 조건에서 93.44%를 기록했다.
• CIFAR-10에서 양 편향 조건 하에서는 3000회의 라운드로 정확도가 95.94%에 도달했지만, 라벨 편향 조건에서는 오직 71.50%에 머물러 있어 라벨 불균형이 더 강한 부정적 영향을 미친다.
• 전체 데이터셋에 30%의 오류 데이터가 포함된 경우, 라벨 분포 편향 조건 하에서 MNIST의 모델 정확도는 84.33%로 떨어졌으며, 낮은 데이터 품질에서의 심각한 성능 저하를 보였다.
• 더 높은 데이터 품질(낮은 오류율)과 더 균일한 데이터 분포(노드당 동일한 데이터 비율인 N이 낮을수록)는 모든 설정에서 모델 정확도를 지속적으로 향상시켰다.
• 프레임워크는 통신 효율성과 모델 정확도가 데이터 분포와 시스템 구성에 매우 민감함을 성공적으로 입증하여 종합적인 평가 지표의 필요성을 검증했다.
• 코드베이스와 비독립동일분포 데이터셋의 오픈소스 공개를 통해 재현 가능한 벤치마킹이 가능해졌으며, 데이터셋 생성 및 평가를 위한 문서화된 워크플로우가 제공되었다.