[논문 리뷰] Robust Federated Learning: The Case of Affine Distribution Shifts

Amirhossein Reisizadeh, Farzan Farnia외 2명|arXiv (Cornell University)|2020. 06. 16.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 64

한 줄 요약

FLRA를 도입합니다. 장치 간의 선형 분포 이동에 로버스트한 연합 학습 프레임워크로, gradient descent-ascent 방법(FedRobust)으로 해결되며 수렴과 일반화 보장을 제공합니다.

ABSTRACT

Federated learning is a distributed paradigm that aims at training models using samples distributed across multiple users in a network while keeping the samples on users' devices with the aim of efficiency and protecting users privacy. In such settings, the training data is often statistically heterogeneous and manifests various distribution shifts across users, which degrades the performance of the learnt model. The primary goal of this paper is to develop a robust federated learning algorithm that achieves satisfactory performance against distribution shifts in users' samples. To achieve this goal, we first consider a structured affine distribution shift in users' data that captures the device-dependent data heterogeneity in federated settings. This perturbation model is applicable to various federated learning problems such as image classification where the images undergo device-dependent imperfections, e.g. different intensity, contrast, and brightness. To address affine distribution shifts across users, we propose a Federated Learning framework Robust to Affine distribution shifts (FLRA) that is provably robust against affine Wasserstein shifts to the distribution of observed samples. To solve the FLRA's distributed minimax problem, we propose a fast and efficient optimization method and provide convergence guarantees via a gradient Descent Ascent (GDA) method. We further prove generalization error bounds for the learnt classifier to show proper generalization from empirical distribution of samples to the true underlying distribution. We perform several numerical experiments to empirically support FLRA. We show that an affine distribution shift indeed suffices to significantly decrease the performance of the learnt classifier in a new test user, and our proposed algorithm achieves a significant gain in comparison to standard federated learning and adversarial training methods.

연구 동기 및 목표

• 장치 의존 데이터 이질성과 선형 분포 이동에 대한 강인한 연합 학습의 필요성을 제시한다.
• 사용자-장치 데이터 변화가 실제적인 섭동을 포착하도록 합성 선형 변환으로 모델링한다.
• 최소-최대 강인 학습 문제를 형식화하고, 편차를 제한하기 위한 패널티 λ를 갖는 FedRobust 해를 도출한다.
• 선형 이동 하에서 학습된 분류기에 대한 수렴 보장과 일반화 경계를 제공한다.

제안 방법

• 노드 i의 데이터를 보편 분포로부터의 선형 변환으로 모델링한다: x^i -> Lambda^i x^i + delta^i.
• w를 최소화하고 선형 매개변수(Lambda^i, delta^i)를 최대화하는 최소-최대 objective를 형식화하며, 편차를 제한하기 위한 패널티 λ를 포함한다.
• FedRobust를 개발한다: 로컬에서 선형 매개변수와 분류기 w를 업데이트하고, 통신 비용을 줄이기 위해 주기적 서버 평균화를 수행하는 gradient descent-ascent 알고리즘.
• PL 조건 하에서 두 가지 손실 클래스(PL-PL 및 비선형-PL)에 대해 정지점으로의 수렴을 입증한다.
• 클래시피어의 Lipschitz성/매끄러움과 신경망 스펙트럴 정규화에 의존하는 PAC-Bayes 스타일의 일반화 경계를 확립한다.

실험 결과

연구 질문

• RQ1 affine 분포 이동이 디바이스 간 연합 학습의 성능에 어떤 영향을 미치는가?
• RQ2 디바이스 특이적 affine 섭동을 포함하는 최소-최대 형식화가 FL에서 로버스트한 분류기를 낳을 수 있는가?
• RQ3 affine 섭동 하에서의 연합 그래디언트 디센트- 어센트 방법의 수렴 특성은 무엇인가?
• RQ4 affine-강인 연합 목적 하에서 학습된 분류기에 대해 어떤 일반화 보장을 도출할 수 있는가?

주요 결과

• FLRA는 이미지 작업에서 표준 FedAvg 및 적대적 학습에 비해 선형 분포 이동에 대한 강인성을 향상시킨다.
• PL 조건 하에서 FedRobust는 최소-최대 목적의 정지점으로 수렴한다.
• 프레임워크는 Lipschitz성 및 스펙트럴 정규화에 기반한 다층 신경망에 대한 일반화 경계를 제시한다.
• 강인성 특성은 최소-최대 목적을 Wasserstein류의 운송 비용과 분포 민감 최적화와 연결한다.