[논문 리뷰] SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision

Chaoyang He, Zhengyu Yang외 4명|arXiv (Cornell University)|2021. 10. 06.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 12

한 줄 요약

이 논문은 SimSiam을 활용한 비지도 표현 학습과 지도 학습 기반 개인화 방법(예: Per-SSFL, Ditto)을 자율학습 설정에 적응시켜 엣지 기반 피드어워드 학습에서 레이블 부족성과 데이터 이질성 문제를 해결하는 자율학습 및 개인화된 피드어워드 학습 프레임워크인 SSFL을 제안한다. 표현 기반 정규화가 가중치 기반 정규화보다 우수한 성능을 보이며, 레이블 데이터가 전혀 없어도 완전히 지도 학습된 피드어워드 학습 수준에 가까운 성능을 달성함을 입증한다.

ABSTRACT

Federated Learning (FL) is transforming the ML training ecosystem from a centralized over-the-cloud setting to distributed training over edge devices in order to strengthen data privacy. An essential but rarely studied challenge in FL is label deficiency at the edge. This problem is even more pronounced in FL compared to centralized training due to the fact that FL users are often reluctant to label their private data. Furthermore, due to the heterogeneous nature of the data at edge devices, it is crucial to develop personalized models. In this paper we propose self-supervised federated learning (SSFL), a unified self-supervised and personalized federated learning framework, and a series of algorithms under this framework which work towards addressing these challenges. First, under the SSFL framework, we demonstrate that the standard FedAvg algorithm is compatible with recent breakthroughs in centralized self-supervised learning such as SimSiam networks. Moreover, to deal with data heterogeneity at the edge devices in this framework, we have innovated a series of algorithms that broaden existing supervised personalization algorithms into the setting of self-supervised learning. We further propose a novel personalized federated self-supervised learning algorithm, Per-SSFL, which balances personalization and consensus by carefully regulating the distance between the local and global representations of data. To provide a comprehensive comparative analysis of all proposed algorithms, we also develop a distributed training system and related evaluation protocol for SSFL. Our findings show that the gap of evaluation accuracy between supervised learning and unsupervised learning in FL is both small and reasonable. The performance comparison indicates the representation regularization-based personalization method is able to outperform other variants.

연구 동기 및 목표

• 엣지 사용자가 개인 데이터를 레이블링하는 데 관성적인 레이블 부족 문제를 해결하기 위해.
• 어떤 레이블 데이터에도 의존하지 않고 피드어워드 학습에서 효과적인 자율학습 표현 학습을 가능하게 하기 위해.
• 엣지 기기 간의 데이터 이질성을 다루기 위해 자율학습 피드어워드 학습에 모델 개인화를 통합하기 위해.
• 실제 비IIDs 및 레이블 부족 조건에서 다양한 자율학습 및 개인화된 피드어워드 학습 알고리즘의 성능을 평가하고 비교하기 위해.
• 피드어워드 자율학습 환경에서 개인화된 인코더를 공정하게 평가할 수 있는 강력한 평가 프로토콜을 개발하기 위해.

제안 방법

• 자율학습 학습(SSL)과 개인화된 피드어워드 학습을 융합하여 레이블 데이터에 의존하지 않는 통합 프레임워크인 SSFL을 제안한다.
• 특히 SimSiam을 중심으로 한 중심집중형 자율학습 방법을 피드어워드 학습 환경에 적응시켜, FedAvg와의 뛰어난 호환성을 입증한다.
• 로컬 표현과 글로벌 표현 간의 거리를 조절하여 개인화와 공통 학습의 균형을 이루는 새로운 알고리즘인 Per-SSFL을 도입한다.
• 표현 정규화를 통해 지도 학습 기반 개인화 기법(예: perFedAvg, Ditto, 로컬 미세조정)을 자율학습 설정으로 확장한다.
• 자원 제약이 있는 기기에서 작은 배치 크기로도 훈련을 안정화시키기 위해 기울기 누적 기법을 활용한다.
• 개별 클라이언트 간의 개인화된 자율학습 모델을 공정하게 비교하기 위해 맞춤형 분산 훈련 시스템과 평가 프로토콜을 개발한다.

실험 결과

연구 질문

• RQ1 SimSiam과 같은 최첨단 자율학습 학습 방법이 레이블 데이터가 전혀 없는 피드어워드 학습 환경에서 얼마나 잘 작동하는가?
• RQ2 기존의 지도 학습 개인화 방법들이 자율학습 피드어워드 학습 패러다임에 효과적으로 적응될 수 있는가?
• RQ3 데이터 이질성(비IIDs 분포)이 자율학습 및 개인화된 피드어워드 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ4 평가 프로토콜의 선택이 피드어워드 학습에서 개인화된 자율학습 모델의 평가 성능에 어떤 영향을 미치는가?
• RQ5 레이블이 없는 조건에서 개인화 전략으로서 표현 정규화와 가중치 정규화 중 어느 것이 더 높은 성능을 낼 수 있는가?

주요 결과

• 시험한 중심집중형 자율학습 방법 중에서 SimSiam가 피드어워드 학습 환경에서 FedAvg와 가장 뛰어난 호환성을 보였다.
• 표현 정규화 기반 개인화(예: Per-SSFL)가 가중치 기반 정규화 방법보다 개인화 정확도 측면에서 뚜렷이 뛰어났다.
• 단순한 피드어워드 선형 평가 프로토콜은 개인화된 인코더의 성능을 떨어뜨리며, 표준 집계 방식이 개인화 품질을 해칠 수 있음을 시사한다.
• 데이터의 비IIDs 정도가 높을수록(예: α=0.1 vs. α=0.5) 수렴 속도가 느려지고 최종 정확도가 낮아지며, 데이터 이질성의 과제를 부각시킨다.
• 레이블 데이터가 전혀 없어도 SSFL은 지도 학습 피드어워드 학습 수준에 가까운 합리적인 평가 정확도를 달성하여 실용적 타당성을 입증한다.
• 배치 크기가 결정적인 영향을 미친다: 기울기 누적 기법을 사용하지 않으면 작은 배치 크기(예: 32)에서는 수렴하지 않거나 성능이 열등하며, 최적의 성능은 256에서 달성된다.