[논문 리뷰] Personalized Cross-Silo Federated Learning on Non-IID Data

Yutao Huang, Lingyang Chu외 5명|arXiv (Cornell University)|2020. 07. 07.

Privacy-Preserving Technologies in Data인용 수 36

한 줄 요약

본 논문은 비 IID 데이터에서 개인화된 교차-실로 연합 학습을 위한 주의 기반 메시지 전달 프레임워크 FedAMP를 제안하며, 단일 글로벌 모델 없이도 쌍방 간의 클라이언트 협업을 가능하게 하고 수렴 증명과 실험적으로 강력한 성능을 보인다.

ABSTRACT

Non-IID data present a tough challenge for federated learning. In this paper, we explore a novel idea of facilitating pairwise collaborations between clients with similar data. We propose FedAMP, a new method employing federated attentive message passing to facilitate similar clients to collaborate more. We establish the convergence of FedAMP for both convex and non-convex models, and propose a heuristic method to further improve the performance of FedAMP when clients adopt deep neural networks as personalized models. Our extensive experiments on benchmark data sets demonstrate the superior performance of the proposed methods.

연구 동기 및 목표

• 클라이언트 데이터가 비 IID이고 조직 간에 다양할 때 개인화된 교차-실로 FL의 필요성과 동기를 제시한다.
• 단일 글로벌 모델을 피하고 쌍방 간 협업 메커니즘을 제안한다.
• 개인화된 지식을 공유하기 위한 어텐션 기반 메시지 전달 스킴을 갖춘 FedAMP를 개발한다.
• 볼록 및 비볼록 설정에 대한 수렴 보장과 딥 네트워크를 위한 실용적 휴리스틱을 제공한다.

제안 방법

• 로컬 손실과 어텐션 기반 쌍별 정규화 항을 결합하는 개인화된 연합 학습 목적을 공식화한다.
• A가 증가하고 오목하며 미분가능하고 A(0)=0인 주의 유도 함수 A를 사용한다(일반적인 선택: 1 - exp(-||wi - wj||^2 / sigma)).
• 순차적 최적화를 제안한다: 먼저 쌍별 항에 대해 그래디언트 강하로 중간 변수 U를 업데이트하고, 그 다음 로컬 손실에 대한 근사적(proximal) 단계로 W를 업데이트한다.
• 각 클라이언트당 개인화된 클라우드 모델과 이웃 모델의 볼록 조합으로 구성된 메시지를 사용하는 클라이언트-서버 설정에서 FedAMP를 구현한다.
• 수렴 증명을 제시한다: 볼록 G(W)에 대해 O(1/√K) 속도; 비볼록 G(W)에 대해 그래디언트 노름의 상한이 O(1/K).
• 개선된 성능을 위해 딥 네트워크를 개인화 모델로 사용할 때 코사인 유사도 기반 가중치 휴리스틱인 HeurFedAMP를 제시한다.

실험 결과

연구 질문

• RQ1 비 IID 데이터 하에서 클라이언트 간의 쌍별 유사도 기반 협업이 어떻게 개인화된 모델을 향상시킬 수 있는가?
• RQ2 FedAMP가 볼록 및 비볼록 개인화 모델 모두에서 수렴할 수 있는가, 그리고 수렴 속도는 어떠한가?
• RQ3 주목받는 메시지 전달 메커니즘이 표준 비 IID 벤치마크에서 글로벌 모델 기반 기준 및 로컬 파인튜닝보다 실질적으로 우수한가?
• RQ4 코사인 유사도 기반 휴리스틱(HeurFedAMP)이 딥 신경망에서 성능을 더 향상시키는가?

주요 결과

방법	MNIST	FMNIST	EMNIST	CIFAR100
Separate	99.27	81.66	54.41	9.82
FedAvg	99.31	91.94	74.38	49.59
FedProx	98.81	90.19	73.14	46.50
FedAvg-FT	98.98	90.17	70.53	35.07
FedProx-FT	98.72	89.02	69.49	40.77
SCAFFOLD	98.89	89.04	72.51	43.06
APFL	98.93	91.03	73.95	49.02
FedAMP	99.22	92.05	74.07	45.68
HeurFedAMP	99.28	91.80	74.07	45.88

• FedAMP와 HeurFedAMP는 비 IID 데이터에서 FedAvg, FedProx, SCAFFOLD, APFL 등 여러 기준선보다 우수하며, IID 데이터에서는 글로벌 방법과의 경쟁력을 유지한다.
• IID 설정에서 FedAMP/HeurFedAMP는 MNIST, FMNIST, EMNIST, CIFAR100 전반에서 최상위 또는 근접 최상위를 달성한다(예: 표 1: FedAMP의 경우 MNIST 99.22, FMNIST 92.05, EMNIST 74.07, CIFAR100 45.68; HeurFedAMP의 경우 99.28, 91.80, 74.07, 45.88).
• 병적 비 IID 설정에서 FedAMP와 HeurFedAMP는 강한 성능을 유지하며 FedAvg 및 FedProx와 같은 글로벌 방법에서 관찰되는 불안정성을 완화한다(표 2 참고).
• 해당 방법은 볼록 조합 메시지를 통해 적응적이고 유사한 클라이언트 간 협업을 강제하여, 비슷한 클라이언트를 더 잘 개인화하기 위한 양의 피드백 루프를 만든다.
• 수렴 분석은 FedAMP가 볼록 G(W)에 대해 최적점으로 수렴하고, 매끄러운 비볼록 G(W)에 대해 정지점으로 수렴함을 보인다.