[논문 리뷰] Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems

Hongchang Gao|arXiv (Cornell University)|2022. 12. 06.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 분산 환경에서 유한합 미니맥스 문제를 위한 새로운 탈중앙화 확률적 경사하강상승(DeS-GDA) 방법을 제안한다. 분산된 데이터를 바탕으로 분산된 학습 환경에서 최적의 샘플 및 통신 복잡도를 달성하기 위해 분산된 경사 추적과 분산된 분산 감소 기법을 활용한다. 비볼록-강력으로 볼록한 문제에 대해 $O(\frac{\tilde{\rho}^{3}}{(1-\rho)^{2}\tilde{\rho}^{2}}})$의 샘플 복잡도와 $O(\frac{\tilde{\rho}^{3}}{(1-\rho)^{2}\tilde{\rho}^{2}}})$의 통신 복잡도를 확립하며, 이는 이전의 탈중앙화 방법들보다 이론적 효율성과 실용적 확장성에서 뛰어나다.

ABSTRACT

Minimax optimization problems have attracted significant attention in recent years due to their widespread application in numerous machine learning models. To solve the minimax problem, a wide variety of stochastic optimization methods have been proposed. However, most of them ignore the distributed setting where the training data is distributed on multiple workers. In this paper, we developed a novel decentralized stochastic gradient descent ascent method for the finite-sum minimax problem. In particular, by employing the variance-reduced gradient, our method can achieve $O(\frac{\sqrt{n}κ^3}{(1-λ)^2ε^2})$ sample complexity and $O(\frac{κ^3}{(1-λ)^2ε^2})$ communication complexity for the nonconvex-strongly-concave minimax problem. As far as we know, our work is the first one to achieve such theoretical complexities for this kind of minimax problem. At last, we apply our method to AUC maximization, and the experimental results confirm the effectiveness of our method.

연구 동기 및 목표

• 분산 기계학습 환경에서 유한합 미니맥스 문제를 위한 효율적인 탈중앙화 최적화 방법의 부족을 해결한다.
• 비볼록-강력으로 볼록한 미니맥스 문제에 대해 기존 탈중앙화 확률적 방법의 높은 통신 및 샘플 복잡도를 극복한다.
• 분산 시스템에서 수렴 효율성을 향상시키기 위해 분산 감소 및 경사 추적 기법을 활용한다.
• 기존 최첨단 방법들과 비교해 이론적으로 최적화된 통신 및 샘플 복잡도 한계를 달성한다.
• 실세계의 탈중앙화 학습 작업에서 실용적 효과성을 입증하기 위해 AUC 최대화 작업에 대해 검증한다.

제안 방법

• K명의 워커로 구성된 피어 투 피어 네트워크에서 작동하는 탈중앙화 확률적 경사하강상승(DeS-GDA) 알고리즘을 제안한다. 각 워커는 로컬 데이터와 모델 파라미터를 유지한다.
• 로컬 샘플링 전략을 사용한 분산 감소 확률적 경사하강을 적용하여 경사 노이즈를 줄이고 수렴 속도를 향상시킨다.
• 로컬 경사를 워커 간에 동기화하기 위해 경사 추적 메커니즘을 통합하여, 분산된 데이터에도 불구하고 전역 수렴을 보장한다.
• 유한합 구조를 사용하여 각 워커가 자신의 로컬 데이터셋 $f_i^{(k)}(\boldsymbol{x}, \boldsymbol{y})$ 에서 경사를 계산하고, 전체 배치 경사 계산을 피한다.
• 비볼록성($\boldsymbol{x}$에서)과 강력한 볼록성($\boldsymbol{y}$에서) 조건 하에서 수렴 보장을 유지하면서 데이터 전송을 최소화하는 통신 효율적인 프로토콜을 설계한다.
• 이론적 분석은 국지적 경사가 전역 평균에서 벗어나지 않도록 제약을 두고, 반복 과정에서 경사 추정치의 오차를 추적하는 데 기반한다.

실험 결과

연구 질문

• RQ1 탈중앙화 확률적 알고리즘이 유한합 비볼록-강력으로 볼록한 미니맥스 문제에 대해 최적의 샘플 및 통신 복잡도를 달성할 수 있는가?
• RQ2 제안된 DSGDA 방법은 기존의 탈중앙화 확률적 및 유한합 방법들과 비교해 수렴 속도와 통신 비용 측면에서 어떻게 다른가?
• RQ3 분산 미니맥스 최적화에서 분산 감소와 경사 추적의 영향은 수렴 행동에 어떤 영향을 미치는가?
• RQ4 이 방법은 탈중앙화 환경에서 AUC 최대화와 같은 실세계 문제에 효과적으로 적용될 수 있는가?
• RQ5 GT-SRVR와 같이 주기적인 전체 경사 계산의 계산 오버헤드를 피할 수 있는가?

주요 결과

• 제안된 DSGDA 방법은 워커당 $O\left(\frac{\sqrt{n}\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$의 샘플 복잡도를 달성하며, 이는 GT-SRVR의 $O\left(n + \frac{\sqrt{n}\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$보다 우수하다. 이는 주기적인 전체 경사 계산을 피하기 때문이다.
• 통신 복잡도는 $O\left(\frac{\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$이며, 이는 최고의 기존 유한합 방법인 GT-SRVR와 동일하며, DM-HSGD의 $O\left(\frac{\kappa^{3}}{(1-\lambda)^{2}\epsilon^{3}}\right)$보다 개선되었다.
• 이 방법은 탈중앙화 환경에서 비볼록-강력으로 볼록한 유한합 미니맥스 문제에 대해 이러한 낮은 통신 복잡도를 달성한 최초의 방법이다.
• AUC 최대화에 대한 실험 결과는 이 방법의 효과성과 분산 학습 환경에서의 확장성을 확인한다.
• 이론적 분석 결과, 수렴 속도는 조건 수 $\kappa$, 스펙트럼 갭 $1-\lambda$, 해 정확도 $\epsilon$ 에 의존하며, 모든 매개변수에서 최적의 스케일링을 보인다.
• 이 방법은 전체 경사 계산이 필요 없어지므로, 주기적으로 전체 경사를 계산하는 GT-SRVR에 비해 계산 오버헤드를 줄였다.