[논문 리뷰] Federated Minimax Optimization: Improved Convergence Analyses and Algorithms

Pranay Sharma, Rohan Panda외 2명|arXiv (Cornell University)|2022. 03. 09.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 분산 최소최대 최적화를 위한 국소 스토하스틱 그래디언트 하강·상승(Local SGDA)을 제안하고 분 析하며, 비볼록-볼록 및 비볼록-비볼록 문제에서 순서적으로 최적의 샘플 복잡도와 클라이언트 수에 대한 선형 속도 향상을 확립한다. 또한 수렴 성능을 향상시키고 기존 국소 SGDA보다 실험적으로 뛰어난 성능을 보이는 모멘텀 기반 변종을 도입한다.

ABSTRACT

In this paper, we consider nonconvex minimax optimization, which is gaining prominence in many modern machine learning applications such as GANs. Large-scale edge-based collection of training data in these applications calls for communication-efficient distributed optimization algorithms, such as those used in federated learning, to process the data. In this paper, we analyze Local stochastic gradient descent ascent (SGDA), the local-update version of the SGDA algorithm. SGDA is the core algorithm used in minimax optimization, but it is not well-understood in a distributed setting. We prove that Local SGDA has extit{order-optimal} sample complexity for several classes of nonconvex-concave and nonconvex-nonconcave minimax problems, and also enjoys extit{linear speedup} with respect to the number of clients. We provide a novel and tighter analysis, which improves the convergence and communication guarantees in the existing literature. For nonconvex-PL and nonconvex-one-point-concave functions, we improve the existing complexity results for centralized minimax problems. Furthermore, we propose a momentum-based local-update algorithm, which has the same convergence guarantees, but outperforms Local SGDA as demonstrated in our experiments.

연구 동기 및 목표

• 특히 비볼록-볼록 및 비볼록-비볼록 설정에서 페더레이티드 최소최대 최적화에서 국소 업데이트 방법에 대한 이론적 이해 부족을 해결한다.
• 페더레이티드 최소최대 학습에서 국소 SGDA의 수렴 보장 및 통신 효율성을 향상시킨다.
• 분산 최소최대 최적화에서 클라이언트 수에 대해 선형 속도 향상을 달성하면서 순서적으로 최적의 샘플 복잡도를 확보한다.
• 이론적 수렴 보장을 유지하면서 실험 성능을 향상시키는 모멘텀 기반 국소 업데이트 알고리즘을 제안하고 분석한다.
• 기존 결과를 개선하는 더 날카운 수렴 분석을 제공하여, 특히 비볼록-PL 및 비볼록-한점-볼록 가정 하에서 중심화된 및 페더레이티드 최소최대 문제에 대해 개선된 결과를 이끌어낸다.

제안 방법

• 클라이언트가 서버와 통신하기 전에 다수의 국소 업데이트를 수행하는 분산 알고리즘으로 국소 SGDA를 제안한다.
• 업데이트 안정성과 수렴 성능 향상을 위해 재귀적 그래디언트 평균을 사용하는 국소 SGDA의 모멘텀 기반 변종을 도입한다.
• 비볼록-볼록, 비볼록-PL, 비볼록-한점-볼록 함수 클래스에서 새로운 이론적 기법을 사용해 수렴성을 분석한다.
• 비볼록-한점-볼록 문제에 대해 통신 복잡도 $\mathcal{O}(\epsilon^{-7})$ 및 스 tochastic 그래디언트 복잡도 $\mathcal{O}(n^{-1}\epsilon^{-8})$ 를 확립한다.
• 프록시 함수 $\Phi_{1/2L_f}$ 의 기대 그래디언트 노름에 대한 더 날카운 경계를 유도하여 샘플 복잡도를 향상시킨다.
• 클라이언트 드리프트와 통신 빈도를 고려하는 통합 분석 프레임워크를 사용하여 클라이언트 수에 따른 선형 속도 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 국소 SGDA는 페더레이티드 비볼록-볼록 최소최대 최적화에서 순서적으로 최적의 샘플 복잡도와 선형 속도 향상을 달성할 수 있는가?
• RQ2 제안된 모멘텀 기반 국소 SGDA는 기존 국소 SGDA에 비해 수렴성과 통신 효율성에서 어떻게 향상되는가?
• RQ3 국소 업데이트 하에서 비볼록-PL 및 비볼록-한점-볼록 최소최대 문제에 대해 향상된 수렴 보장은 무엇인가?
• RQ4 이론적 분석을 더 견고하게 하여 기존 중심화된 및 페더레이티드 최소최대 수렴 결과를 초월할 수 있는가?
• RQ5 국소 업데이트 빈도와 모멘텀이 페더럴 환경에서 최소최대 최적화의 실험 성능에 미치는 영향은 무엇인가?

주요 결과

• 비볼록-한점-볼록 문제에 대해 제안된 국소 SGDA는 통신 복잡도 $\mathcal{O}(\epsilon^{-7})$ 와 스 tochastic 그래디언트 복잡도 $\mathcal{O}(n^{-1}\epsilon^{-8})$ 를 달성하여 이전 결과를 초월한다.
• 모멘텀 기반 국소 SGDA 변종은 기존 국소 SGDA와 동일한 이론적 수렴 보장을 유지하면서 실험적으로 뛰어난 성능을 보인다.
• 분석을 통해 비볼록-볼록 및 비볼록-비볼록 문제에 대해 순서적으로 최적의 샘플 복잡도를 확립하였으며, 클라이언트 수에 따른 선형 속도 향상을 달성하였다.
• 비볼록-PL 문제에 대해 $\mathcal{O}(\kappa^3/\epsilon^3)$ 통신 라운드와 $\mathcal{O}(\kappa^4/(n\epsilon^4))$ 스 tochastic 그래디언트 복잡도를 달성하여 기존 중심화된 결과를 개선했다.
• 이론적 프레임워크는 프록시 함수의 기대 그래디언트 노름에 대해 더 날카운 경계를 제공하여 수렴 속도 향상을 이끌어냈다.
• 정당한 분류 및 강건한 신경망 훈련에 대한 실험을 통해 모멘텀 기반 국소 SGDA가 표준 국소 SGDA보다 낮은 낙관 손실과 높은 정확도를 기록하여 더 뛰어난 성능을 보였다.