[논문 리뷰] A Field Guide to Federated Optimization

Jianyu Wang, Zachary Charles외 51명|arXiv (Cornell University)|2021. 07. 14.

Privacy-Preserving Technologies in Data참고 문헌 276인용 수 167

한 줄 요약

이 논문은 시뮬레이션 기반 평가와 실세계 고려사항에 중점을 두고 페더레이티드 최적화 알고리즘의 공식화, 설계, 평가 및 분석에 대한 실용적 가이드라인을 제공합니다. FedAvg 및 관련 기법을 실용적 기준점으로 삼는 한편 통신, 이질성, 프라이버시와 같은 문제를 강조합니다.

ABSTRACT

Federated learning and analytics are a distributed approach for collaboratively learning models (or statistics) from decentralized data, motivated by and designed for privacy protection. The distributed learning process can be formulated as solving federated optimization problems, which emphasize communication efficiency, data heterogeneity, compatibility with privacy and system requirements, and other constraints that are not primary considerations in other problem settings. This paper provides recommendations and guidelines on formulating, designing, evaluating and analyzing federated optimization algorithms through concrete examples and practical implementation, with a focus on conducting effective simulations to infer real-world performance. The goal of this work is not to survey the current literature, but to inspire researchers and practitioners to design federated learning algorithms that can be used in various practical applications.

연구 동기 및 목표

• 연합 최적화와 그 실제 세계 제약(통신, 이질성, 프라이버시, 시스템)을 정의하고 동기를 부여한다.
• 이론과 실천의 연결을 위해 알고리즘 설계, 평가 및 시뮬레이션에 대한 실용적 가이드라인을 제공한다.
• 대표적 기법과 그것들이 시스템 제약과 어떻게 상호 작용하는지 설명한다.
• 평가 전략, 데이터셋 및 현실적 튜닝을 논의하여 실제 성능을 추정한다.
• 연합 최적화와 관련된 배포 고려사항 및 이론적 도구를 개관한다.

제안 방법

• 일반적 연합 학습 문제와 일반화된 Federated Averaging(FedAvg) 알고리즘을 실용적 프레임워크로 제시한다(알고리즘 1).
• 부분 참여, 확률적 근사 및 로컬 업데이트가 어떻게 결합되어 FedAvg와 그 변형(FedOpt)을 형성하는지 논의한다.
• 성능 향상을 위한 대표적 기법(모멘텀/적응 방법, 편향 저하, 정규화, 대체 집계)을 검토한다.
• 연합 최적화 알고리즘을 평가하고 매개변수 튜닝을 안내하기 위한 시뮬레이션 프레임워크를 설명한다.
• 프라이버시 호환 프로토콜을 포함한 시스템 레벨 비용 및 실용적 배포 고려사항을 개략화한다.

실험 결과

연구 질문

• RQ1 데이터 이질성과 프라이버시 제약을 반영하도록 연합 최적화 문제를 어떻게 공식화해야 하는가?
• RQ2 통신 한계와 이질적인 클라이언트에서 잘 작동하는 실용적 FL 알고리즘을 어떻게 설계하고 평가할 수 있는가?
• RQ3 일반적인 FedAvg를 넘어서 컨버전스와 로버스트니스를 개선하는 효과적인 기법은 무엇인가?
• RQ4 시뮬레이션 및 튜닝 전략을 어떻게 수행하여 실제 성능을 추정할 수 있는가?
• RQ5 프라이버시, 강건성 및 개인화 측면에서 연방 이론과 실용적 배포 간의 관계는 무엇인가?

주요 결과

• FedAvg는 유연한 ClientOpt 및 ServerOpt 구성 요소를 가진 일반화된 FedOpt 프레임워크로 간주될 수 있다.
• 부분 참여, 로컬 업데이트 및 확률적 근사는 이질성 하에서도 수렴을 유지하면서 통신을 줄이는 데 핵심적이다.
• 모멘텀, 적응 방법, 로컬 업데이트의 바이어스 감소, 정규화 및 대체 집계는 일반적인 FedAvg보다 성능을 개선할 수 있다.
• 현실적인 시뮬레이션과 클라이언트/서버 학습률, 코호트 크기, 로컬 스텝의 신중한 튜닝은 실제 성능을 추정하는 데 필수적이다.
• 표준 ERM 포뮬레이션을 넘어 다양한 연합 최적화 알고리즘을 촉진하는 다양한 문제 공식화(복합 최적화, 확률적/사후 관점)가 있다.