[논문 리뷰] Hybrid-FL: Cooperative Learning Mechanism Using Non-IID Data in Wireless Networks.

Naoya Yoshida, Takayuki Nishio외 3명|arXiv (Cornell University)|2019. 05. 17.

Privacy-Preserving Technologies in Data인용 수 37

한 줄 요약

이 논문은 비독립 동일 분포(non-IID) 데이터로 인한 성능 저하를 완화하기 위해 소수의 클라이언트(1% 미만)가 서버로 데이터를 업로드할 수 있도록 허용하는 협업형 분산학습 메커니즘인 Hybrid-FL을 제안한다. 업로드된 데이터를 사용한 서버 측 모델 업데이트와 클라이언트 측 학습을 결합하고, 클라이언트 및 데이터 선택을 위한 히우리스틱 알고리즘을 사용함으로써, Hybrid-FL은 비IIDs 설정에서 이전 방법 대비 모델 정확도를 13.5% 향상시킨다.

ABSTRACT

This paper proposes a cooperative mechanism for mitigating the performance degradation due to non-independent-and-identically-distributed (non-IID) data in collaborative machine learning (ML), namely federated learning (FL), which trains an ML model using the rich data and computational resources of mobile clients without gathering their data to central systems. The data of mobile clients is typically non-IID owing to diversity among mobile clients' interests and usage, and FL with non-IID data could degrade the model performance. Therefore, to mitigate the degradation induced by non-IID data, we assume that a limited number (e.g., less than 1%) of clients allow their data to be uploaded to a server, and we propose a hybrid learning mechanism referred to as Hybrid-FL, wherein the server updates the model using the data gathered from the clients and aggregates the model with the models trained by clients. The Hybrid-FL solves both client- and data-selection problems via heuristic algorithms, which try to select the optimal sets of clients who train models with their own data, clients who upload their data to the server, and data uploaded to the server. The algorithms increase the number of clients participating in FL and make more data gather in the server IID, thereby improving the prediction accuracy of the aggregated model. Evaluations, which consist of network simulations and ML experiments, demonstrate that the proposed scheme achieves a 13.5% higher classification accuracy than those of the previously proposed schemes for the non-IID case.

연구 동기 및 목표

• 모바일 클라이언트 간 비독립 동일 분포(non-i.i.d.) 데이터로 인한 분산학습의 성능 저하 문제를 해결한다.
• 기기 간 데이터 분포가 극도로 불균형한 상황에서 순수 클라이언트 측 학습의 한계를 극복한다.
• 서버가 전략적으로 선택된 소량의 업로드된 클라이언트 데이터를 활용해 글로벌 모델 업데이트를 향상시킬 수 있도록 하여 모델 정확도를 향상시킨다.
• 협업 학습 프레임워크에서 클라이언트 선택 및 데이터 선택 문제를 동시에 해결하여 참가도와 데이터 다양성을 극대화한다.

제안 방법

• 클라이언트 로컬 데이터를 사용한 클라이언트 측 모델 학습과 업로드된 클라이언트 데이터를 사용한 서버 측 모델 업데이트를 결합하는 하이브리드 학습 메커니즘인 Hybrid-FL을 제안한다.
• 참여도와 데이터 유용성의 균형을 고려해 최적의 클라이언트 집합을 선택하기 위해 히우리스틱 알고리즘을 사용한다.
• 서버가 클라이언트로부터 수신한 모델을 집계하고 업로드된 데이터를 활용해 글로벌 모델을 업데이트함으로써 서버의 훈련 데이터의 표현력을 향상시킨다.
• 클라이언트 및 데이터 선택 과정을 통합 최적화 문제로 설정하여 통신 및 개인정보 보호 제약 조건 하에 모델 정확도를 극대화한다.
• 단일 FL 라운드 내에서 로컬 및 서버 측 학습 단계를 통합하여 글로벌 모델의 일관성과 수렴성을 확보한다.
• 소수의 클라이언트(예: <1%)로부터의 제한된 데이터를 활용해 서버 모델을 강화함으로써 비IIDs 분포에 더 강건한 모델을 구현한다.

실험 결과

연구 질문

• RQ1 모바일 클라이언트 간에 극도로 비IIDs 데이터 분포가 존재할 경우, 분산학습 성능을 어떻게 향상시킬 수 있는가?
• RQ2 개인정보 보호를 유지하는 분산학습 환경에서 클라이언트 참여도, 데이터 업로드, 모델 정확도 간 최적의 트레이드오프는 무엇인가?
• RQ3 클라이언트 측 및 서버 측 학습을 융합한 하이브리드 모델 업데이트 전략이 데이터 편향으로 인한 성능 저하를 줄일 수 있는가?
• RQ4 히우리스틱 알고리즘이 모델 수렴성과 정확도 향상에 기여하기 위해 최적의 클라이언트 및 데이터 하위집합을 선택하는 데 얼마나 효과적인가?

주요 결과

• Hybrid-FL은 비IIDs 데이터 환경에서 이전에 제안된 방법 대비 13.5% 높은 분류 정확도를 달성한다.
• 소수의 업로드된 클라이언트 데이터 샘플 포함으로 서버의 훈련 데이터 표현력이 크게 향상된다.
• 히우리스틱 기반의 클라이언트 및 데이터 선택 알고리즘이 참가 클라이언트 수를 늘리면서도 서버 측 데이터 다양성을 향상시키는 데 성공했다.
• 하이브리드 학습 메커니즘이 데이터 편향으로 인한 성능 저하를 효과적으로 완화하여 순수 클라이언트 중심 또는 서버 중심 접근 방식을 초월한다.
• 네트워크 시뮬레이션과 머신러닝 실험을 통해 Hybrid-FL이 무선 네트워크 환경에서 강건성과 확장성을 확보함을 입증했다.
• 소수의 클라이언트에 한해 데이터 업로드를 제한함으로써 개인정보 보호를 유지하면서도 상당한 정확도 향상을 달성한다.