[논문 리뷰] Personalized Federated Learning: A Unified Framework and Universal Optimization Techniques

Filip Hanzely, Boxin Zhao외 1명|arXiv (Cornell University)|2021. 02. 18.

Privacy-Preserving Technologies in Data인용 수 15

한 줄 요약

이 논문은 다양한 기존 개인화된 플러거레이티드 러닝(FL) 방법을 포함하는 일반적인 목표 함수를 제안함으로써 개인화된 플러거레이티드 러닝(FL)을 위한 통합 최적화 프레임워크를 제안한다. 일반 최적화기—LSGD-PFL, ACD-PFL, ASVRCD-PFL—를 도입하여 강凸 문제에서 통신 및 계산 복잡도가 minimax 최적임을 확보하며, 특수 설계된 알고리즘에 비해 성능을 유사하거나 뛰어나게 유지한다.

ABSTRACT

We investigate the optimization aspects of personalized Federated Learning (FL). We propose general optimizers that can be applied to numerous existing personalized FL objectives, specifically a tailored variant of Local SGD and variants of accelerated coordinate descent/accelerated SVRCD. By examining a general personalized objective capable of recovering many existing personalized FL objectives as special cases, we develop a comprehensive optimization theory applicable to a wide range of strongly convex personalized FL models in the literature. We showcase the practicality and/or optimality of our methods in terms of communication and local computation. Remarkably, our general optimization solvers and theory can recover the best-known communication and computation guarantees for addressing specific personalized FL objectives. Consequently, our proposed methods can serve as universal optimizers, rendering the design of task-specific optimizers unnecessary in many instances.

연구 동기 및 목표

• 다양한 개인화된 FL 목표 함수를 하나의 일반 최적화 문제로 통합하기.
• 특수 작업에 맞게 조정하지 않고도 여러 개인화된 FL 환경에 적용 가능한 일반 최적화 방법 개발하기.
• 개인화된 FL에서 통신 및 로컬 계산의 복잡도에 대해 날카롭고 minimax 최적의 수렴 보장을 수립하기.
• 일반 목적 최적화기들이 개별 FL 목표 함수에 대해 특수 설계된 알고리즘의 성능을 따라하거나 뛰어나게 할 수 있는지 확인하기.

제안 방법

• 지역 손실 fₘ의 적절한 설계를 통해 많은 기존 개인화된 FL 접근 방식을 일반화하는 통합 목표 함수 F(w, β) = (1/M)Σₘ fₘ(w, βₘ)를 제안한다.
• 세 가지 일반 목적 최적화기—개인화된 플러거레이티드 러닝을 위한 국소 SGD(LSGD-PFL), 가속화된 블록 좌표 강하(ACD-PFL), 가속화된 스위치 변동 감소 좌표 강하(ASVRCD-PFL)—를 제안한다.
• 표준 볼록성 및 부드러움 가정을 도입: 모든 m ∈ [M]에 대해 F는 μ-강볼록이며, fₘ는 (Lʷ, MLᵦ)-부드럽다.
• 이 가정 하에 통신 및 계산 복잡도의 상한을 유도하며, 이들이 minimax 최적임을 보여준다.
• 수렴 향상 및 과적합 방지를 위해 전역 파라미터 w를 M⁻¹ᐟ²로 스케일링하는 재매개변수화를 도입한다.
• 다양한 이완 파라미터 Λ와 재매개변수화를 사용하여 프레임워크를 실험적으로 검증하며, 최적의 초모수 설정에서 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 문헌에 존재하는 다양한 개인화된 FL 목표 함수를 하나의 일반 최적화 프레임워크로 통합할 수 있는가?
• RQ2 이 프레임워크에서 유도된 일반 최적화기들이 여러 개인화된 FL 환경에서 통신 및 계산 복잡도가 minimax 최적임을 확보할 수 있는가?
• RQ3 전역 파라미터 w의 재매개변수화가 개인화된 FL에서 수렴 및 일반화 성능을 향상시킬 수 있는가?
• RQ4 이완 파라미터 Λ를 포함한 확장된 목표 함수가 기존 공식화보다 실증적으로 유리한가?
• RQ5 일반 프레임워크가 특수 작업에 맞는 알고리즘의 최고 알려진 수렴 속도를 복원하거나 뛰어넘을 수 있는가?

주요 결과

• 적절한 지역 손실 fₘ의 구성으로 제안된 통합 목표 함수 (1)은 기존 많은 개인화된 FL 방법을 특수 케이스로 포함한다.
• 일반 최적화기인 LSGD-PFL, ACD-PFL, ASVRCD-PFL는 강볼록 문제에서 O(√(Lʷ/μ) log ε⁻¹)의 minimax 최적 통신 복잡도를 달성한다.
• 시험된 모든 개인화된 FL 목표 함수에 대해 일반 최적화기는 문헌에서 알려진 최고의 수렴 속도를 유사하거나 뛰어나게 유지한다.
• w를 M⁻¹ᐟ²로 재매개변수화하는 것은 일관되게 테스트 정확도를 향상시키고 학습을 안정화시키며, 더 나은 일반화를 나타낸다.
• 실증 결과에 따르면 중간 정도의 이완 파라미터 Λ(예: 10.0)가 극단적인 값(예: Λ=100.0)보다 더 뛰어난 성능을 보이며, 정규화 강도 증가에 따른 비단조화적 이점이 있음을 시사한다.
• 이 프레임워크는 일반 최적화를 가능하게 하며, 많은 경우에서 특수 작업에 맞는 알고리즘 설계가 불필요해지며, 일반 솔버가 최첨단 성능을 달성한다.