[논문 리뷰] FedNest: Federated Bilevel, Minimax, and Compositional Optimization

Davoud Ataee Tarzanagh, Mingchen Li외 2명|arXiv (Cornell University)|2022. 05. 04.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

FedNest는 교대 스토하스틱 분산 감소와 통신 효율적인 초기수도 계산을 사용하여 이중, 최소최대 및 복합 문제를 위한 새로운 피어드 최적화 프레임워크를 제안한다. $O(\epsilon^{-2})$ 샘플 복잡도로 증명 가능한 수렴성을 확보하며, 임의의 클라이언트 이질성 하에서도 비피어드 최신 기술 성능을 달성한다.

ABSTRACT

Standard federated optimization methods successfully apply to stochastic problems with single-level structure. However, many contemporary ML problems -- including adversarial robustness, hyperparameter tuning, and actor-critic -- fall under nested bilevel programming that subsumes minimax and compositional optimization. In this work, we propose \fedblo: A federated alternating stochastic gradient method to address general nested problems. We establish provable convergence rates for \fedblo in the presence of heterogeneous data and introduce variations for bilevel, minimax, and compositional optimization. \fedblo introduces multiple innovations including federated hypergradient computation and variance reduction to address inner-level heterogeneity. We complement our theory with experiments on hyperparameter \& hyper-representation learning and minimax optimization that demonstrate the benefits of our method in practice. Code is available at https://github.com/ucr-optml/FedNest.

연구 동기 및 목표

• 초기수치 조정, 적대적 강건성 및 액터-크리틱 강화 학습과 같은 이중 최적화 문제를 위한 피어드 알고리즘 부족 문제를 해결하기 위해.
• 임의의 클라이언트 이질성을 다룰 수 있고 클라이언트 드리프트를 방지하는 통신 효율적인 방법을 개발하기 위해.
• 증명 가능한 수렴성의 단일 프레임워크로 이중, 최소최대 및 복합 최적화를 통합하기 위해.
• 명시적 헤시안 행렬 계산을 피함으로써 정확한 초기수도 추정을 가능하게 하여 통신 및 계산 오버헤드를 감소시키기 위해.
• 초기수치 학습 및 최소최대 최적화에서의 실험을 통해 실용적 이점을 입증하기 위해.

제안 방법

• FedNest는 내부 및 외부 변수 간의 교대 업데이트 방식을 사용하며, 클라이언트 드리프트를 완화하기 위해 내부 문제에서 FedSVRG를 적용한다.
• FedInn은 데이터 이질성에도 불구하고 국소 모델의 전역 수렴을 보장하는 피어드 스토하스틱 분산 감소 알고리즘을 도입한다.
• FedOut은 명시적 헤시안 행렬 계산을 피하기 위해 행렬-벡터 곱을 이용해 초기수도를 계산한다.
• 이 방법은 소수의 라운드 내에서 전역 역헤시안-기울기 곱을 통신 효율적인 행렬-벡터 곱으로 추정한다.
• LFedNest는 경량 버전으로, 외부 반복마다 한 번만 통신하며 국소에서 초기수도를 계산하여 통신 효율성을 향상시킨다.
• 프레임워크는 최소최대 및 복합 최적화로 일반화되어 수렴 분석을 단순화하고 이전 피어드 접근법보다 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 임의의 클라이언트 데이터 이질성 하에서도 증명 가능한 수렴성을 갖는 피어드 이중 최적화가 가능할 수 있는가?
• RQ2 명시적 헤시안 역행렬 계산 없이 피어드 이중 최적화 환경에서 초기수도 계산을 어떻게 통신 효율적으로 수행할 수 있는가?
• RQ3 피어드 중첩 최적화의 샘플 복잡도는 무엇이며, 비피어드 최신 기술 성능을 달성할 수 있는가?
• RQ4 피어드 최소최대 최적화에서 교대 SVRG 업데이트는 동시에 업데이트와 비교해 어떻게 성능을 냈는가?
• RQ5 LFedNest에서 국소에서의 초기수도 계산은 통신 횟수를 줄이면서도 수렴성을 유지하는가?

주요 결과

• FedNest는 $O(\epsilon^{-2})$ 샘플 복잡도를 확보하여 $\epsilon$-정류점에 도달하며, 비피어드 최신 기술 기준과 동일한 성능을 달성한다.
• FedInn은 클라이언트 드리프트 및 데이터 이질성 하에서도 내부 문제의 유일한 전역 최소점으로 국소 모델의 전역 수렴을 보장한다.
• FedOut은 행렬-벡터 곱을 통해 초기수도를 계산하여 명시적 헤시안 행렬 계산을 피하고 통신 비용을 감소시킨다.
• LFedNest는 한 번의 외부 통신 라운드만으로도 경쟁적인 성능을 달성하며, 최소최대 문제에서 FedAvg-S를 능가한다.
• 실험 결과, FedNest와 LFedNest는 안정점 및 초깃값 학습 과제에서 FedAvg-S를 크게 능가한다.
• 이 방법은 최소최대 및 복합 문제로 일반화되며, 수렴 보장이 단순화되고 이전 피어드 접근법보다 수렴 속도가 빠르다.