[논문 리뷰] FedHybrid: A Hybrid Primal-Dual Algorithm Framework for Federated Optimization

Xiaochun Niu, Ermin Wei|arXiv (Cornell University)|2021. 06. 02.

Distributed Control Multi-Agent Systems참고 문헌 22인용 수 4

한 줄 요약

FedHybrid는 강력한 볼록 함수에 대해 선형 수렴를 달성하고, 특히 일부 클라이언트가 2차 정보를 사용할 때 기준 방법들인 FedAvg를 능가하는, 페더레이티드 최적화를 위한 새로운 하이브리드 원시-이중 알고리즘 프레임워크를 제안한다. 이는 계산 능력에 따라 클라이언트가 독립적으로 기울기 유형 또는 뉴턴 유형 업데이트를 선택할 수 있도록 한다.

ABSTRACT

We consider a multi-agent consensus optimization problem over a server-client (federated) network, where all clients are connected to a central server. Current distributed algorithms fail to capture the heterogeneity in clients' local computation capacities. Motivated by the generalized Method of Multipliers in centralized optimization, we derive an approximate Newton-type primal-dual method with a practical distributed implementation by utilizing the server-client topology. Then we propose a new primal-dual algorithm framework FedHybrid that allows different clients to perform various types of updates. Specifically, each client can choose to perform either gradient-type or Newton-type updates. We propose a novel analysis framework for primal-dual methods and obtain a linear convergence rate of FedHybrid for strongly convex functions, regardless of clients' choices of gradient-type or Newton-type updates. Numerical studies are provided to demonstrate the efficacy of our method in practice. To the best of our knowledge, this is the first hybrid algorithmic framework allowing heterogeneous local updates for distributed consensus optimization with a provable convergence and rate guarantee.

연구 동기 및 목표

• 계산 능력이 다양한 클라이언트를 수용할 수 있는 유효한 수렴 보장이 있는 민감한 알고리즘이 부족한 문제를 해결하기 위해.
• 일관된 프레임워크 내에서 일阶 및 2차 업데이트를 통합하는 분산 원시-이중 방법을 개발하기 위해.
• 강력한 볼록성 조건 하에서 제안된 하이브리드 프레임워크에 대해 선형(Q-선형) 수렴 보장을 이론적으로 제공하기 위해.
• 비아이디어 데이터 분할 조건 하에서 합성 및 실세계 데이터셋을 대상으로 한 수치 실험을 통해 실용적 효능을 입증하기 위해.

제안 방법

• 일반화된 승수법에 기반한 프레임워크로, 원시 및 이중 헤시안의 분산 근사값을 사용하여 뉴턴 유형 업데이트를 가능하게 한다.
• 클라이언트는 계산 자원에 따라 기울기 유형 또는 뉴턴 유형 로컬 업데이트를 선택할 수 있도록 허용된다.
• 서버는 일관성 제약 행렬 $ W $ 를 사용하여 클라이언트 간 $ x_0 = x_i $ 를 강제하여 일관성 조정을 수행한다.
• 모든 클라이언트의 업데이트 유형 선택에 관계없이 마지막 반복의 선형 수렴를 보장하기 위해 새로운 분석 프레임워크를 개발하였다.
• 이중 및 원시 업데이트 간 균형을 맞추기 위해 페널티 파라미터 $ \rho $ 를 사용하여 안정성과 수렴성을 확보한다.
• 서버-클라이언트 아키텍처에서 작동하며, 원시 데이터 교환 없이도 업데이트를 집계하고 조율한다.

실험 결과

연구 질문

• RQ1 페더레이티드 최적화 프레임워크는 다양한 업데이트 유형(일阶 및 2차)을 혼합하여 사용하는 이질적 클라이언트를 지원하면서도 수렴성을 유지할 수 있는가?
• RQ2 클라이언트가 독립적으로 기울기 또는 뉴턴 업데이트를 선택할 경우, 하이브리드 원시-이중 알고리즘의 수렴 속도는 어떻게 되는가?
• RQ3 비아이디어 환경에서 순수 일阶 방법 대비 뉴턴 유형 업데이트의 포함 여부가 수렴 속도에 어떤 영향을 미치는가?
• RQ4 2차 정보를 분산 방식으로 활용할 수 있는, 수렴 보장이 있는 알고리즘을 페더레이티드 일관성 최적화에 설계할 수 있는가?

주요 결과

• FedHybrid는 기울기 유형 또는 뉴턴 유형 업데이트를 사용하는지에 관계없이 강력한 볼록 함수에 대해 선형(Q-선형) 수렴를 달성한다.
• FedAvg보다 수렴 속도가 빠르며, 특히 일부 클라이언트가 뉴턴 유형 업데이트를 수행할 경우 두드러진 성능 향상을 보인다.
• 모든 클라이언트가 뉴턴 유형 업데이트를 사용할 경우(FedH-N 버전), DiSCO와 같은 최첨단 2차 방법과 유사한 수렴 성능을 보인다.
• 뉴턴 유형 업데이트를 사용하는 클라이언트 수를 늘릴수록 전체 수렴 속도가 빨라지며, 이는 하이브리드 접근 방식의 확장성을 보여준다.
• 합성 및 실세계 데이터셋(Boston housing, 버섯)에 대한 수치 실험을 통해 비아이디어 데이터 분할 조건 하에서도 본 방법의 효용성을 확인하였다.