[논문 리뷰] Efficient Algorithms for Federated Saddle Point Optimization

Charlie Hou, Kiran Koshy Thekumparampil외 2명|arXiv (Cornell University)|2021. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 동일한 통신 복잡도를 확보하는 최초의 분산 최소최대 최적화 알고리즘인 SCAFFOLD-Catalyst-S를 제안한다. 이 알고리즘은 동일한 클라이언트 설정과 이질적인 클라이언트 설정 모두에서 최적의 통신 복잡도를 달성한다. SCAFFOLD의 클라이언트 수준의 분산 감소 기법과 Catalyst의 가속화 프레임워크를 결합함으로써, 최악의 이질성 의존성을 제거하면서도 빠른 수렴성을 유지하며, 임의의 이질성 하에서 Minibatch Mirror-Prox 성능을 재현하고, 실질적으로 FedAvg-S와 SCAFFOLD-S를 능가한다.

ABSTRACT

We consider strongly convex-concave minimax problems in the federated setting, where the communication constraint is the main bottleneck. When clients are arbitrarily heterogeneous, a simple Minibatch Mirror-prox achieves the best performance. As the clients become more homogeneous, using multiple local gradient updates at the clients significantly improves upon Minibatch Mirror-prox by communicating less frequently. Our goal is to design an algorithm that can harness the benefit of similarity in the clients while recovering the Minibatch Mirror-prox performance under arbitrary heterogeneity (up to log factors). We give the first federated minimax optimization algorithm that achieves this goal. The main idea is to combine (i) SCAFFOLD (an algorithm that performs variance reduction across clients for convex optimization) to erase the worst-case dependency on heterogeneity and (ii) Catalyst (a framework for acceleration based on modifying the objective) to accelerate convergence without amplifying client drift. We prove that this algorithm achieves our goal, and include experiments to validate the theory.

연구 동기 및 목표

• 임의의 클라이언트 데이터 이질성 존재 하에서 수렴 보장을 보장하는 분산 최소최대 최적화 알고리즘이 부족한 문제를 해결한다.
• 임의의 이질성 하에서도 Minibatch Mirror-Prox의 통신 복잡도를 재현하면서, 클라이언트 동질성 하에서 기존 방법보다 뛰어난 성능을 내는 알고리즘을 설계한다.
• 최소최대 설정에서 수렴 보장을 유지하는 방식으로 분산 감소(SCAFFOLD)와 가속화(Catalyst)를 통합한다.
• 강凸-강구연 문제에서 이론적 성능과 실질적 분산 최소최대 최적화 간 격차를 해소한다.

제안 방법

• 수렴 속도에서 클라이언트 이질성에 대한 의존성을 제거하기 위해 SCAFFOLD의 클라이언트 수준 분산 감소 기법을 적용한다.
• 최소최대 설정에서 클라이언트 드리프트를 악화시키지 않으면서 수렴 속도를 가속화하기 위해 Catalyst 프레임워크를 적용한다.
• 안정점 문제에 특화된 SCAFFOLD-Catalyst 프레임워크의 경사 하강-상승 변형을 사용한다.
• 통신과 로컬 계산의 균형을 맞추기 위해 확률 $p$를 사용하는 스트로스틱이고 랜덤화된 동기화 전략을 도입한다.
• 강凸성, 미끄러움, 클라이언트 이질성에 따라 기대값을 갖는 원-쌍대 갭을 제한하는 새로운 수렴 분석을 유도한다.
• 표준 볼록 최적화 가정과 다를 바 있는 원-쌍대 갭의 비강제성(non-coercivity)을 다루기 위한 새로운 분석 기법을 도입한다.

실험 결과

연구 질문

• RQ1 임의의 클라이언트 이질성 하에서 Minibatch Mirror-Prox와 동일한 통신 복잡도를 달성할 수 있는 분산 최소최대 최적화 알고리즘이 존재하는가?
• RQ2 볼록 분산 최적화에서의 분산 감소 기법을 최소최대 문제에 적응시켜도 수렴 보장을 잃지 않을 수 있는가?
• RQ3 Catalyst 프레임워크를 통한 가속화가 클라이언트 드리프트를 증가시키거나 이질성 하에서 성능을 떨어뜨리지 않고 분산 최소최대 최적화에 적용될 수 있는가?
• RQ4 동질적 및 이질적 클라이언트 데이터 분포 모두에서 잘 작동하는 통합 알고리즘이 존재하는가?

주요 결과

• SCAFFOLD-Catalyst-S는 임의의 이질성 하에서 통신 복잡도 $\min\left\{\frac{\beta}{\mu}, \frac{p\beta^{2}}{\mu^{2}} + \frac{p\sigma^{2}}{n\mu^{2}\epsilon} + \frac{p^{1/2}\beta\sigma}{\mu^{2}\epsilon^{1/2}} + \frac{\beta\zeta}{\mu^{2}\epsilon^{1/2}}\right\}$를 달성하며, 로그 요소를 제외한 범위에서 Minibatch Mirror-Prox와 동일한 성능을 보인다.
• 알고리즘이 동일한 클라이언트와 이질적인 클라이언트 설정 모두에서 FedAvg-S와 SCAFFOLD-S를 능가하며, 특히 클라이언트가 유사할 경우 두드러진 성능 향상을 보인다.
• SCAFFOLD와 Catalyst의 통합은 로컬 업데이트가 이루어져도 클라이언트 드리프트를 악화시키지 않으며 최적의 수렴을 보장한다.
• 실증 결과는 이론적 주장의 타당성을 검증하며, 기준 방법 대비 더 빠른 수렴 속도와 낮은 통신 비용을 보여준다.
• 분석은 최소최대 문제에 대한 새로운 수렴 프레임워크를 수립하였으며, 원-쌍대 갭의 기울기 강제성 부족 문제를 해결하였다.