[논문 리뷰] Exploiting Shared Representations for Personalized Federated Learning

Liam Collins, Hamed Hassani외 2명|arXiv (Cornell University)|2021. 02. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 69

한 줄 요약

이 논문은 FedRep를 소개합니다. Federated 학습 프레임워크로, 클라이언트 간에 공유되는 글로벌 저차원 표현을 학습하면서 각 클라이언트가 개인화된 로컬 헤드를 가질 수 있도록 하여 데이터 이질성 하에서 이론적 및 실험적 성능 이점을 제공합니다.

ABSTRACT

Deep neural networks have shown the ability to extract universal feature representations from data such as images and text that have been useful for a variety of learning tasks. However, the fruits of representation learning have yet to be fully-realized in federated settings. Although data in federated settings is often non-i.i.d. across clients, the success of centralized deep learning suggests that data often shares a global feature representation, while the statistical heterogeneity across clients or tasks is concentrated in the labels. Based on this intuition, we propose a novel federated learning framework and algorithm for learning a shared data representation across clients and unique local heads for each client. Our algorithm harnesses the distributed computational power across clients to perform many local-updates with respect to the low-dimensional local parameters for every update of the representation. We prove that this method obtains linear convergence to the ground-truth representation with near-optimal sample complexity in a linear setting, demonstrating that it can efficiently reduce the problem dimension for each client. This result is of interest beyond federated learning to a broad class of problems in which we aim to learn a shared low-dimensional representation among data distributions, for example in meta-learning and multi-task learning. Further, extensive experimental results show the empirical improvement of our method over alternative personalized federated learning approaches in federated environments with heterogeneous data.

연구 동기 및 목표

• 클라이언트 데이터가 이질적으로 분포하고 레이블이 클라이언트마다 다를 때 개인화된 연합 학습의 필요성을 동기 부여한다.
• 공유 표현을 학습하고 클라이언트별 헤드를 두어 표준 FL보다 성능을 향상시키는 프레임워크를 제시한다.
• 선형 설정에서 선형 수렴 및 거의 최적의 샘플 복잡도를 보장하는 이론적 보장을 제시한다.
• 데이터 이질성 하에서 합성 및 실제 데이터 세트에서 기준 방법 대비 실험적 개선을 보여준다.]
• method=[

제안 방법

• 전역 저차원 표현 φ와 각 클라이언트의 헤드 h_i를 정의하여 각 클라이언트 모델이 q_i = h_i o φ가 되도록 한다.
• FedRep 알고리즘을 개발하는데, 일부 클라이언트가 헤드에 대해 다수의 로컬 업데이트를 수행한 후 표현 업데이트를 수행하고 서버 측에서 φ를 집계한다.
• f_i(w_i, B) = 0.5 E[(y_i - w_i^T B^T x_i)^2]인 선형 2계층 네트워크 설정을 분석하고 교대 최소화-하강법이 진짜 표현으로 수렴함을 보인다.
• 적절한 가정 하에서 표현 학습에서 각 클라이언트가 ε의 정확도에 도달하기 위해 필요한 샘플 수가 O((d/n + log n) log(1/ε))임을 보인다.
• 합치면 선형 설정에서 페더레이션이 각 클라이언트의 샘플 복잡도를 Θ(d)에서 Θ(d/n + log n)으로 감소시키며 새로운 클라이언트에 일반화할 수 있게 하여 Θ(k) 샘플을 필요로 한다.

실험 결과

연구 질문

• RQ1 이질적인 클라이언트들 간에 학습된 공유 저차원 표현이 클라이언트별로 레이블이 달라질 때 개인화를 향상시킬 수 있는가?
• RQ2 연합 설정에서 글로벌 표현과 클라이언트별 헤드를 학습하기 위한 수렴 및 샘플-복잡도 보장은 무엇인가?
• RQ3 데이터 이질성 하에서 실제 데이터 및 합성 데이터에 대해 FedRep가 표준 연합 학습 기준선에 비해 실험적으로 어떤 성능을 보이는가?
• RQ4 학습된 표현이 새로운 클라이언트로 일반화되며 이들의 다운스트림 학습 요구를 줄이는가?

주요 결과

• FedRep은 선형 2계층 설정에서 진짜 표현으로 수렴하는 속도가 지수적으로 빠르다.
• 제안된 방법하에서 클라이언트당 샘플 복잡도는 O((d/n + log n) log(1/ε))로 스케일한다.
• 단일 전역 모델을 학습하는 것과 비교할 때 FedRep은 이질적 설정에서 거의 최적의 샘플 복잡도 이득을 얻는다.
• 새로운 클라이언트의 경우 이미 표현이 존재하므로 차원 수 k의 로우-디멘션 헤드만 학습하면 되어 Θ(k) 샘플이 필요하다.
• CIFAR10, CIFAR100, FEMNIST, Sent140에서 이질적 연합 설정에서 기준선 대비 개선이 관찰된다.
• 더 많은 로컬 업데이트와 보이지 않는 클라이언트에 대한 효과적인 일반화의 이점이 프레임워크에 제시된다.