[논문 리뷰] Federated Self-supervised Learning for Heterogeneous Clients

Disha Makhija, Nhat Ho외 1명|arXiv (Cornell University)|2022. 05. 25.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 다양한 컴퓨팅 및 데이터 자원을 가진 이질적 클라이언트가 레이블이 없는 데이터를 사용하여 공동으로 표현을 학습할 수 있도록 하는 새로운 피어드셀프스터디드러닝 프레임워크인 Hetero-SSFL을 제안한다. 하위차원 임bedding 간의 유사도를 보장하는 보조 항과 커널 기반의 거리 측정법을 통해, 이 방법은 IID 및 비-IID 환경 모두에서 최신 기술 수준의 성능을 달성하며, 비볼록 목표 함수에 대해 수렴 보장을 제공한다.

ABSTRACT

Federated Learning has become an important learning paradigm due to its privacy and computational benefits. As the field advances, two key challenges that still remain to be addressed are: (1) system heterogeneity - variability in the compute and/or data resources present on each client, and (2) lack of labeled data in certain federated settings. Several recent developments have tried to overcome these challenges independently. In this work, we propose a unified and systematic framework, \emph{Heterogeneous Self-supervised Federated Learning} (Hetero-SSFL) for enabling self-supervised learning with federation on heterogeneous clients. The proposed framework allows collaborative representation learning across all the clients without imposing architectural constraints or requiring presence of labeled data. The key idea in Hetero-SSFL is to let each client train its unique self-supervised model and enable the joint learning across clients by aligning the lower dimensional representations on a common dataset. The entire training procedure could be viewed as self and peer-supervised as both the local training and the alignment procedures do not require presence of any labeled data. As in conventional self-supervised learning, the obtained client models are task independent and can be used for varied end-tasks. We provide a convergence guarantee of the proposed framework for non-convex objectives in heterogeneous settings and also empirically demonstrate that our proposed approach outperforms the state of the art methods by a significant margin.

연구 동기 및 목표

• 피어드 학습에서 시스템의 이질성과 레이블이 없는 데이터의 문제를 동시에 해결한다.
• 다양한 모델 아키텍처와 데이터 자원을 가진 클라이언트 간에 공동 표현 학습을 가능하게 한다.
• 모델 아키텍처에 의존하지 않는 프레임워크를 개발하고, 어느 클라이언트에서도 레이블이 필요로 하지 않는다.
• 이질적 피어드 학습 환경에서 비볼록 목표 함수에 대해 이론적 수렴 보장을 제공한다.
• 다양한 실제 환경에서 최신 기술 수준의 방법들보다 뛰어난 성능을 입증한다.

제안 방법

• 각 클라이언트는 로컬 데이터를 기반으로 고유한 셀프스터디드러닝 모델을 훈련하며, 대비 학습 목표를 사용한다.
• 각 클라이언트의 손실 함수에 하위차원 임베딩 간의 정렬을 위한 프록시널 항을 추가한다.
• 서버는 클라이언트 간 임베딩 정렬을 지원하기 위해 기준 앵커 데이터셋(RAD)을 유지한다.
• 커널 기반 거리 측정법을 사용하여 임베딩 간의 유사도를 계산함으로써 표현 공간에서의 유연성을 확보한다.
• 모든 단계에서 레이블에 의존하지 않는 완전히 비지도 학습 방식으로 작동한다.
• 클라이언트는 로컬 훈련과 서버가 제공하는 RAD를 통한 전역 정렬을 반복적으로 수행하여 모델을 업데이트한다.

실험 결과

연구 질문

• RQ1 데이터 및 컴퓨팅 자원이 극도로 이질적인 환경에서 피어드셀프스터디드러닝이 효과적으로 적용될 수 있는가?
• RQ2 레이블이 없는 조건에서 서로 다른 모델 아키텍처를 가진 클라이언트들이 공동으로 유용한 표현을 학습할 수 있는가?
• RQ3 어떤 메커니즘이 다양한 모델 용량과 데이터 분포를 가진 클라이언트 간에 효과적인 지식 전이를 가능하게 하는가?
• RQ4 통합 프레임워크가 이질적 피어드 학습 환경에서 비볼록 목표 함수에 대해 수렴을 달성할 수 있는가?
• RQ5 제안된 방법은 데이터 이질성에 대해 얼마나 뛰어난 표현 품질과 강건성을 가지는가?

주요 결과

• CIFAR-10에서 비-IID 환경에서 Hetero-SSFL은 90.29%의 정확도를 달성하여 FedEMA(81.2%)와 FedU(79.6%)를 크게 앞서간다.
• CIFAR-100에서 Hetero-SSFL은 비-IID 환경에서 67.7%의 정확도를 기록하며, FedEMA(61.8%)와 FedU(58.9%)를 초월한다.
• IID 환경에서 Hetero-SSFL은 CIFAR-10에서 88.5%의 정확도를 달성하여 FedEMA(85.9%)와 FedU(81.6%)를 능가한다.
• Tiny-Imagenet에서 Hetero-SSFL은 61.5%의 정확도를 기록하며, FedEMA(58.2%)와 FedU(58.23%)를 앞선다.
• FedAvg 기반의 기준 방법들과 달리, 로컬 에포크 수가 증가하더라도 안정적인 성능을 유지한다.
• 모든 클라이언트 아키텍처에서 공동 학습이 정확도 향상에 기여하며, ResNet-34 클라이언트는 로컬 학습 시 77.8%에서 Hetero-SSFL로 93.7%로 향상된다.