[논문 리뷰] Federated Learning with Matched Averaging

Hongyi Wang, Mikhail Yurochkin외 3명|arXiv (Cornell University)|2020. 02. 15.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 102

한 줄 요약

FedMA는 CNN과 LSTM에 대한 층별 연합 학습 알고리즘으로, 클라이언트 간 일치된 은닉 요소를 정렬하고 평균화하여 정확도를 향상시키고 통신을 감소시킵니다.

ABSTRACT

Federated learning allows edge devices to collaboratively learn a shared model while keeping the training data on device, decoupling the ability to do model training from the need to store the data in the cloud. We propose Federated matched averaging (FedMA) algorithm designed for federated learning of modern neural network architectures e.g. convolutional neural networks (CNNs) and LSTMs. FedMA constructs the shared global model in a layer-wise manner by matching and averaging hidden elements (i.e. channels for convolution layers; hidden states for LSTM; neurons for fully connected layers) with similar feature extraction signatures. Our experiments indicate that FedMA not only outperforms popular state-of-the-art federated learning algorithms on deep CNN and LSTM architectures trained on real world datasets, but also reduces the overall communication burden.

연구 동기 및 목표

• 현대 신경망 구조에 대한 프라이버시를 보존하며 연합 학습의 동기를 부여한다.
• 집계 과정에서 신경망 매개변수의 순열 불변성을 다룬다.
• 이질적인 클라이언트 데이터에 맞춰 글로벌 모델 크기를 조정하는 층별 매칭 및 평균화 알고리즘을 제안한다.
• 실제 데이터셋에서 FedAvg와 FedProx 대비 수렴 및 통신 효율성 개선을 입증한다.

제안 방법

• 로컬 뉴런을 글로벌 뉴런과 정렬하는 매칭 평균화 목적을 통해 순열 불변성 인식을 반영한 매개변수 평균화(식 Equation 2).
• BBP-MAP을 해석기로 사용하여 CNN과 LSTM에서 층별 매칭 및 적응형 글로벌 모델 크기를 다루며 PFNM을 확장한다.
• FedMA를 제안: 각 층별로 먼저 클라이언트 간 1층을 매칭하고 평균화한 다음, 매칭된 층을 고정시키고 클라이언트가 이후 층을 학습하도록 하며 층마다 반복한다.
• 뉴런/채널 매칭을 위한 배치 문제를 해결하기 위해 해밀턴 알고리즘을 사용하고 글로벌 모델 크기에 대한 적응적 증가 전략을 적용한다.
• 통신 효율적 변형(FedMA with communication)을 도입하여 전 라운드에서 글로벌 모델 크기를 작게 유지하면서 매칭 구조를 재사용한다.

실험 결과

연구 질문

• RQ1 CNN과 LSTM에서 신경망 매개변수의 순열 불변성을 연합 학습에서 효과적으로 다룰 수 있는가?
• RQ2 레이어별 매칭 평균화(FedMA)가 이질성 하에서도 FedAvg와 FedProx 대비 정확도와 통신을 개선하는가?
• RQ3 연합 설정에서 이질적 클라이언트 데이터에 대해 글로벌 모델 크기는 어떻게 적응해야 하는가?
• RQ4 로컬 학습 에폭 수가 FedMA의 성능과 통신 효율성에 어떤 영향을 미치는가?

주요 결과

Method	Final Accuracy (%)	Best local epoch	Model growth rate
FedAvg	86.29	20	1x
FedProx	85.32	20	1x
Ensemble	75.29	150	16x
FedMA	87.53	150	1.11x

• FedMA는 이질적 환경에서 CNN과 LSTM 모두에서 FedAvg 및 FedProx를 크게 능가한다.
• 레이어별 매칭과 적응형 글로벌 모델 크기가 더 나은 수렴과 더 적은 통신으로 가능하게 한다.
• 통신 효율적 FedMA 변형은 글로벌 모델을 작게 유지하면서도 높은 성능을 달성한다.
• FedMA의 층별 접근 방식은 매칭된 필터/뉴런을 정렬하고 평균화함으로써 해석 가능성의 이점을 제공한다.
• 실험에서 FedMA는 CIFAR-10과 Shakespeare 과제에서 베 baseline 대비 더 높은 최종 정확도를 달성한다(CIFAR-10: FedMA 87.53% 대 FedAvg 86.29%, FedProx 85.32%, Ensemble 75.29%; Shakespeare: FedMA 49.07% 대 FedAvg 46.63%, FedProx 45.83%, Ensemble 46.06%).