[논문 리뷰] Federated Unsupervised Representation Learning

Fengda Zhang, Kun Kuang외 7명|arXiv (Cornell University)|2020. 10. 18.

Privacy-Preserving Technologies in Data인용 수 38

한 줄 요약

FedCA는 표현의 사전을 조정하고 정렬 메커니즘을 통해 분산된 클라이언트 간에 공유된 비감독 표현을 학습하여, 연합학습에서 비 IID 데이터와 표현 불일치를 해결한다.

ABSTRACT

To leverage enormous unlabeled data on distributed edge devices, we formulate a new problem in federated learning called Federated Unsupervised Representation Learning (FURL) to learn a common representation model without supervision while preserving data privacy. FURL poses two new challenges: (1) data distribution shift (Non-IID distribution) among clients would make local models focus on different categories, leading to the inconsistency of representation spaces. (2) without the unified information among clients in FURL, the representations across clients would be misaligned. To address these challenges, we propose Federated Constrastive Averaging with dictionary and alignment (FedCA) algorithm. FedCA is composed of two key modules: (1) dictionary module to aggregate the representations of samples from each client and share with all clients for consistency of representation space and (2) alignment module to align the representation of each client on a base model trained on a public data. We adopt the contrastive loss for local model training. Through extensive experiments with three evaluation protocols in IID and Non-IID settings, we demonstrate that FedCA outperforms all baselines with significant margins.

연구 동기 및 목표

• 분산된 라벨이 없는 데이터에서 공통 비지도 표현 모델을 학습하도록 동기를 부여하되, 클라이언트 프라이버시를 보존한다.
• 두 가지 핵심 FURL 도전과제를 식별하고 해결한다: 서로 다른 데이터로 인해 표현 공간이 불일치하는 비 IID 데이터와 클라이언트 간의 부정합.
• 표현을 안정화하고 정렬하기 위해 사전 모듈과 정렬 모듈을 결합한 FedCA 프레임워크를 제안한다.

제안 방법

• 서버가 유지하는 사전 모듈을 사용하여 일관된 대조 학습을 위해 표현(음수 샘플)을 클라이언트 간에 집계하고 공유한다.
• 공개 데이터셋에서 기본 모델을 학습하고 로컬 모델이 정렬 모델의 출력을 모방하도록 정규화하는 정렬 모듈을 사용한다.
• 확대된 데이터를 갖고 각 클라이언트에서 로컬로 대조 학습을 적용하며, 사전 기반 음수와 정렬 정규화를 통합한다.
• 더 강력한 음수를 위해 진화하는 앙상블 프로젝션을 유지해 사전을 안정화하는 시계열 앙상블을 활용한다.
• 대조 손실과 정렬 손실을 가중치 beta로 제어하여 로컬 인코더와 프로젝션 헤드를 학습시킨다.
• FedAvg 유사 프로토콜을 따라 클라이언트-로컬 업데이트와 서버가 집계한 글로벌 모델 업데이트를 반복적으로 수행한다.

실험 결과

연구 질문

• RQ1 연합학습을 프라이버시 보장이 있는 비지도 표현 학습으로 확장하려면 어떻게 할 수 있는가?
• RQ2 레이블이 없는 이종(비 IID) 클라이언트 데이터 간에 공유 표현 공간을 달성할 수 있는가?
• RQ3 사전 기반 표현과 클라이언트 간 정렬이 순진한 연합 학습 방식에 비해 연합 비지도 학습을 개선하는가?
• RQ4 시계열 앙상블과 정렬 정규화가 클라이언트 간 표현 일관성에 미치는 영향은 무엇인가?

주요 결과

• FedCA는 IID 및 Non-IID 설정에서 연합학습과 비지도 접근 방식을 단순히 결합한 베이스라인보다 성능이 우수하다.
• 사전 모듈은 공유된 음수 샘플을 제공함으로써 표현 공간의 일관성을 향상시킨다.
• 정렬 모듈은 로컬 모델 간 표현 불일치를 줄이고 공개 데이터로 학습된 기본 모델의 출력에 더 가깝게 유지한다.
• 시계열 앙상블은 라운드에 걸쳐 표현을 안정화시켜 비 IID 설정에서 사전의 효과를 향상시킨다.
• 사전 모듈과 정렬 모듈을 모두 갖춘 FedCA가 가장 강력한 성능을 보이며, 특히 도전적인 Non-IID 조건에서 그렇다.