[논문 리뷰] FedProc: Prototypical Contrastive Federated Learning on Non-IID data

Xutong Mu, Yulong Shen외 5명|arXiv (Cornell University)|2021. 09. 25.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

FedProc는 비독립 동일 분포(non-IID) 데이터에서 로컬 모델 훈련을 보정하기 위해 글로벌 클래스 프로토타입을 글로벌 지식으로 사용하는 새로운 피어드 학습 프레임워크를 제안한다. 프로토타입 대비 손실과 하이브리드 로컬 네트워크 아키텍처를 도입함으로써 FedProc는 로컬 목표를 글로벌 최적화와 일치시켜, CIFAR-10, CIFAR-100, Tiny-ImageNet에서 각각 1.6%에서 7.9%까지의 최신 기술 수준의 정확도 향상을 이끌었으며, 수용 가능한 계산 비용을 유지한다.

ABSTRACT

Federated learning allows multiple clients to collaborate to train high-performance deep learning models while keeping the training data locally. However, when the local data of all clients are not independent and identically distributed (i.e., non-IID), it is challenging to implement this form of efficient collaborative learning. Although significant efforts have been dedicated to addressing this challenge, the effect on the image classification task is still not satisfactory. In this paper, we propose FedProc: prototypical contrastive federated learning, which is a simple and effective federated learning framework. The key idea is to utilize the prototypes as global knowledge to correct the local training of each client. We design a local network architecture and a global prototypical contrastive loss to regulate the training of local models, which makes local objectives consistent with the global optima. Eventually, the converged global model obtains a good performance on non-IID data. Experimental results show that, compared to state-of-the-art federated learning methods, FedProc improves the accuracy by $1.6\%\sim7.9\%$ with acceptable computation cost.

연구 동기 및 목표

• 클라이언트 간 비독립 동일 분포 데이터 분포로 인한 피어드 학습의 성능 저하 문제를 해결하기 위해.
• 로컬 훈련 목표를 글로벌 최적화와 일치시켜 모델 일반화 및 수렴을 향상시키기 위해.
• 클라이언트별 지식을 글로벌 클래스 프로토타입을 통해 활용하여 더 나은 표현 학습을 가능하게 하기 위해.
• 비독립 동일 분포 벤치마크에서 기존 최신 기술 수준의 피어드 학습 방법을 크게 능가하면서도 계산 효율성을 유지하기 위해.

제안 방법

• FedProc는 각 샘플의 표현을 그 글로벌 클래스 프로토타입 쪽으로 끌어당기고 다른 클래스 프로토타입에서 멀어지게 하는 글로벌 프로토타입 대비 손실을 도입한다.
• 이 프레임워크는 대비 손실과 교차 엔트로피 손실의 가중 조합을 사용해 특징 학습과 분류를 동시에 최적화하는 하이브리드 로컬 네트워크 아키텍처를 사용한다.
• 글로벌 클래스 프로토타입은 서버에서 클라이언트 수준의 프로토타입을 집계하여 계산하고, 이를 다시 클라이언트에게 방송하여 로컬 훈련 보정에 사용한다.
• 손실 함수는 계수 α = 1 - t/T를 통해 특징 학습과 분류 학습 간의 무게 조정을 동적으로 조정하여, 훈련 초반에는 표현 학습에 더 중점을 두도록 한다.
• 클라이언트는 글로벌 프로토타입을 인덕티브 바이어스로 사용하여 로컬 훈련을 안정화하고 글로벌 최적화에서의 드리프트를 감소시킨다.
• 이 방법은 표준 FedAvg 통신 프로토콜과 호환되어 기존 피어드 학습 파이프라인에 원활하게 통합될 수 있다.

Figure 1: Federated learning process.

실험 결과

연구 질문

• RQ1 글로벌 클래스 프로토타입은 비독립 동일 분포 피어드 학습에서 로컬 모델 드리프트를 보정하는 효과적인 인덕티브 바이어스로 기능할 수 있는가?
• RQ2 프로토타입 기반 대비 학습은 편향된 데이터를 가진 피어드 환경에서 일반화 및 수렴을 어떻게 향상시키는가?
• RQ3 로컬 훈련에서 표현 학습과 분류 학습 간의 손실 무게 조정을 동적으로 조절할 경우 어떤 영향을 미치는가?
• RQ4 FedProc는 비독립 동일 분포 데이터에서 클라이언트 수와 통신 라운드 수가 증가함에 따라 어떻게 스케일링되는가?

주요 결과

• 100개의 클라이언트가 있는 CIFAR-100에서 FedProc는 상위 1 정확도 70.6%를 기록했으며, 이는 이전 최신 기술 수준의 방법(MOON)의 61.8%보다 뚜렷이 높다.
• FedProc는 Tiny-ImageNet에서 기존 최신 기술 수준 방법 대비 7.9% 향상되었고, CIFAR-10에서는 1.6% 향상되었다.
• 이 방법은 낮은 계산 오버헤드를 유지하며, 라운드당 훈련 시간이 FedAvg와 유사하고, Tiny-ImageNet과 같은 더 큰 데이터셋에서는 SCAFFOLD와 MOON보다 우수하다.
• FedProc는 뛰어난 확장성을 보였으며, 100개의 클라이언트와 500회의 통신 라운드에서 CIFAR-100에서 72.5%의 정확도를 달성하여 MOON보다 9.3% 높게 기록했다.
• 제거 실험을 통해 동적 손실 무게 조정(α = 1 - t/T)이 고정 또는 이중 단계 훈련 전략보다 성능을 향상시킨다는 것이 확인되었다.
• 글로벌 프로토타입 대비 손실은 로컬 목표를 글로벌 최적화와 효과적으로 일치시켜 비독립 동일 분포 데이터에서 모델 드리프트를 감소시키고 일반화를 향상시켰다.

Figure 3: Overview of the local network architecture in FedProc. The feature extraction network (including the base encoder and the projection head) extracts the representation $z$ , which is used to calculate the global prototypical contrastive loss $\ell_{gpc}$ . By inputting the representation $z