[논문 리뷰] Hybrid-FL for Wireless Networks: Cooperative Learning Mechanism Using Non-IID Data

Naoya Yoshida, Takayuki Nishio외 3명|arXiv (Cornell University)|2019. 05. 17.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 17

한 줄 요약

이 논문은 비독립identical 분포(Non-IID) 데이터로 인한 성능 저하를 완화하기 위해 소수의 클라이언트(1% 미만)가 데이터를 중앙 서버로 업로드하도록 허용하고, 여기서 IID 유사 모델을 훈련시키는 새로운 피드포워드 학습 프레임워크인 Hybrid-FL을 제안한다. 이후 서버는 이 중앙 집중형 모델을 비- IID 데이터로 훈련된 다른 클라이언트의 모델과 융합하여, 비-IID 데이터 분포에서 이전 방법보다 13.5% 높은 분류 정확도를 달성한다.

ABSTRACT

This paper proposes a cooperative mechanism for mitigating the performance degradation due to non-independent-and-identically-distributed (non-IID) data in collaborative machine learning (ML), namely federated learning (FL), which trains an ML model using the rich data and computational resources of mobile clients without gathering their data to central systems. The data of mobile clients is typically non-IID owing to diversity among mobile clients' interests and usage, and FL with non-IID data could degrade the model performance. Therefore, to mitigate the degradation induced by non-IID data, we assume that a limited number (e.g., less than 1%) of clients allow their data to be uploaded to a server, and we propose a hybrid learning mechanism referred to as Hybrid-FL, wherein the server updates the model using the data gathered from the clients and aggregates the model with the models trained by clients. The Hybrid-FL solves both client- and data-selection problems via heuristic algorithms, which try to select the optimal sets of clients who train models with their own data, clients who upload their data to the server, and data uploaded to the server. The algorithms increase the number of clients participating in FL and make more data gather in the server IID, thereby improving the prediction accuracy of the aggregated model. Evaluations, which consist of network simulations and ML experiments, demonstrate that the proposed scheme achieves a 13.5% higher classification accuracy than those of the previously proposed schemes for the non-IID case.

연구 동기 및 목표

• 모바일 클라이언트 간 비-IID 데이터 분포로 인한 피드포워드 학습의 성능 저하 문제를 해결하기 위해.
• 다양한 사용자 관심사와 사용 패턴으로 인해 본질적으로 비-IID인 데이터를 가진 무선 네트워크에서 모델 정확도를 향상시키기 위해.
• 로컬 클라이언트 훈련과 소수의 선택된 데이터에 기반한 중앙 집중형 훈련을 융합하는 하이브리드 학습 메커니즘을 설계하기 위해.
• 자원 제약 조건과 비-IID 데이터를 고려해 모델 융합을 최적화하는 히우리스틱 클라이언트 및 데이터 선택 알고리즘을 개발하기 위해.
• 실제 머신러닝 워크로드를 사용하여 실질적인 모바일 엣지 컴퓨팅(MEC) 환경에서 제안된 메커니즘을 평가하기 위해.

제안 방법

• Hybrid-FL은 로컬 비-IID 데이터로 훈련된 클라이언트의 모델 융합과, 소수의 클라이언트로부터 업로드된 데이터를 사용해 중앙에서 훈련된 모델을 결합한다.
• 서버는 선택된 클라이언트로부터의 데이터를 집계하여 글로벌 모델을 훈련시키며, 이로 인해 일반화 성능 향상을 위한 약간의 IID 데이터셋을 생성한다.
• 클라이언트의 계산 및 통신 능력을 기반으로 최적의 클라이언트 집합을 선택하기 위해 히우리스틱 알고리즘을 사용한다.
• 선택 과정은 클라이언트 다양성, 데이터 품질, 자원 가용성을 균형 잡아 모델 유틸리티와 수렴성을 극대화한다.
• 통신 대역폭, 계산 변동성, 데이터 분포를 고려한 유틸리티 함수를 사용해 모델 업로드 및 데이터 업로드를 위한 클라이언트 선택을 통합한다.
• 최종 글로벌 모델은 중앙에서 훈련된 모델과 분산 클라이언트의 모델을 평균 내어 전체 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사용자별 사용 패턴으로 인해 비-IID가 되는 클라이언트 데이터에서 피드포워드 학습 성능을 어떻게 향상시킬 수 있는가?
• RQ2 자원 제약 조건 하에서 모델 훈련 참여와 데이터 업로드 간의 최적의 트레이드오프는 무엇인가?
• RQ3 소수의 데이터 업로더 클라이언트가 더 대표성 있는 데이터셋을 기반으로 한 중앙 집중형 훈련을 가능하게 함으로써 모델 정확도를 크게 향상시킬 수 있는가?
• RQ4 모델 업로드 및 데이터 업로드 클라이언트에 대한 히우리스틱 선택 전략이 비-IID 환경에서 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 변동성이 큰 네트워크 및 클라이언트 자원 조건 하에서 제안된 Hybrid-FL 프레임워크의 내구성은 어떠한가?

주요 결과

• Hybrid-FL은 비-IID 데이터 조건 하에서 CIFAR-10 데이터셋에서 이전 방법보다 13.5% 높은 분류 정확도를 달성했다.
• 데이터 업로드가 클라이언트의 1% 미만으로 제한된 상황에서, 표준 피드포워드 학습과 중앙 집중형 훈련을 모두 능가하는 성능을 보였다.
• minCV 기반 클라이언트 선택 전략은 maxClient보다 더 높은 정확도를 기록했으며, 주로 서버에 수집된 약간의 IID 데이터의 양이 10% 더 많기 때문이다.
• Hybrid-FL (maxThroughput/minCV) 및 Hybrid-FL (IID/minCV) 버전은 유사한 성능을 보이며, 다른 구성보다 뛰어난 성능을 보였다.
• 자원 변동성(고 r_var) 조건 하에서도 Hybrid-FL은 내구성 있는 성능을 유지했으며, 선택 오차로 인해 정확도가 다소 감소하는 데 그쳤다.
• 다양한 비-IID 수준(다른 σ 값)을 가진 클라이언트가 공존하더라도 성능 저하가 발생하지 않았으며, Hybrid-FL은 모든 설정에서 높은 정확도를 유지했다.