Skip to main content
QUICK REVIEW

[논문 리뷰] FedAvg with Fine Tuning: Local Updates Lead to Representation Learning

Liam Collins, Hamed Hassani|arXiv (Cornell University)|2022. 05. 27.
Privacy-Preserving Technologies in DataComputer Science인용 수 46
한 줄 요약

다중 로컬 업데이트를 가진 FedAvg는 이질적인 클라이언트들 간에 공유된 저차원 표현을 학습하고, 다-task 선형 회귀 설정에서 ground-truth 표현으로 수학적으로 수렴하며, 신경망에서 미세 조정을 통한 표현 학습에 대한 실증적 증거를 보여준다.

ABSTRACT

The Federated Averaging (FedAvg) algorithm, which consists of alternating between a few local stochastic gradient updates at client nodes, followed by a model averaging update at the server, is perhaps the most commonly used method in Federated Learning. Notwithstanding its simplicity, several empirical studies have illustrated that the output model of FedAvg, after a few fine-tuning steps, leads to a model that generalizes well to new unseen tasks. This surprising performance of such a simple method, however, is not fully understood from a theoretical point of view. In this paper, we formally investigate this phenomenon in the multi-task linear representation setting. We show that the reason behind generalizability of the FedAvg's output is its power in learning the common data representation among the clients' tasks, by leveraging the diversity among client data distributions via local updates. We formally establish the iteration complexity required by the clients for proving such result in the setting where the underlying shared representation is a linear map. To the best of our knowledge, this is the first such result for any setting. We also provide empirical evidence demonstrating FedAvg's representation learning ability in federated image classification with heterogeneous data.

연구 동기 및 목표

  • FedAvg with fine-tuning이 이질적인 연합 설정에서 일반화가 왜 잘 되는지 이해를 자극한다.
  • 공유된 k-차원 표현을 가지는 다-task 선형 회귀 설정 formalize 한다.
  • FedAvg with tau >= 2 로컬 업데이트가 선형 속도로 ground-truth 표현을 학습한다는 것을 증명한다.
  • 실제 데이터셋에서 신경망의 표현 학습에 대한 실증적 증거를 제공한다.

제안 방법

  • 문제를 공유 d-by-k 표현 B*와 클라이언트별 헤드 w_i*를 가진 다-task 선형 회귀로 모델링한다.
  • 모집단 손실과 동등한 클라이언트 가중치를 고려하여 tau >= 2 로컬 업데이트의 FedAvg를 분석한다.
  • 다양성 및 조건화에 대한 명시적 의존성으로 T 라운드에서 dist(B_T, B_*)가 epsilon 이내로 수렴하는 것을 증명한다.
  • D-GD (tau=1)가 ground-truth 표현을 회복할 수 없음을 보인다.
  • CNN에서의 실험을 통해 비선형 설정으로의 통찰을 확장하고 표현 유지가 미세 조정 중 얼마나 중요한지 평가한다.

실험 결과

연구 질문

  • RQ1다중 로컬 업데이트를 가진 FedAvg가 이질적인 클라이언트 분포 간에 공유 표현을 재현할 수 있는가?
  • RQ2로컬 업데이트 수를 늘리면 (tau>=2) 개별 클라이언트 헤드가 활용할 수 있는 공통 표현 학습이 가능해지는가?
  • RQ3이 설정에서 D-GD (tau=1)가 공유 표현 학습에 충분한가?
  • RQ4신경망으로의 실험이 표현 학습과 새로운 작업에 대한 미세 조정에 대한 강건성을 보여주는가?

주요 결과

  • tau>=2 로컬 업데이트를 가진 FedAvg가 다-task 선형 회귀 설정에서 ground-truth 표현을 선형 속도로 학습한다.
  • 클라이언트 간 로컬 헤드의 다양성이 ground-truth 부분공간에서 학습된 표현으로의 에너지 전달을 가능하게 하여 수렴을 촉진한다.
  • 한 단계 로컬 업데이트(D-GD)는 초기화와 무관하게 공유 표현을 학습하지 못한다.
  • 실제 데이터셋에서의 신경망 실험은 FedAvg와 미세 조정이 표현을 변화시키는 정도가 Distributed-SGD에 비해 작아 표현 학습이 일어난다는 것을 보여준다.
  • 이론적 결과는 모집단 손실 및 완만한 초기 조건 하에서 수렴을 보이며, 학습된 표현과 ground-truth 표현 사이의 주각 거리가 지수적으로 감소함을 보여준다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.