[논문 리뷰] Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency

Yuyang Deng, Mehrdad Mahdavi|arXiv (Cornell University)|2021. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 52인용 수 12

한 줄 요약

이 논문은 분산 미니맥심 최적화를 위한 국소 확률적 경사 하강·상승법(Local Stochastic Gradient Descent Ascent, local SGDA)을 제안한다. 이는 클라이언트 간에 원자리 및 이중 변수의 국소 업데이트를 허용하고 주기적인 평균화를 통해 통신 빈도를 줄이는 방식이다. 강凸-강구간, 비볼록-강구간, 비볼록-비구간 설정에서 수렴 보장을 확립하며, 이질적 데이터 환경에서도 증명 가능한 속도로 통신 효율성을 향상시킨다.

ABSTRACT

Local SGD is a promising approach to overcome the communication overhead in distributed learning by reducing the synchronization frequency among worker nodes. Despite the recent theoretical advances of local SGD in empirical risk minimization, the efficiency of its counterpart in minimax optimization remains unexplored. Motivated by large scale minimax learning problems, such as adversarial robust learning and training generative adversarial networks (GANs), we propose local Stochastic Gradient Descent Ascent (local SGDA), where the primal and dual variables can be trained locally and averaged periodically to significantly reduce the number of communications. We show that local SGDA can provably optimize distributed minimax problems in both homogeneous and heterogeneous data with reduced number of communications and establish convergence rates under strongly-convex-strongly-concave and nonconvex-strongly-concave settings. In addition, we propose a novel variant local SGDA+, to solve nonconvex-nonconcave problems. We give corroborating empirical evidence on different distributed minimax problems.

연구 동기 및 목표

• 분산 미니맥심 최적화에서 높은 통신 비용 문제를 해결함으로써, 특히 GAN 및 적대적 훈련과 같은 페더레이션 및 대규모 학습 환경에서의 적용을 목표로 한다.
• 국소 SGD 철학을 미니맥심 문제로 확장하기 위해, 주기적 평균화를 통한 국소 원자리-이중 업데이트를 가능하게 한다.
• 이질적 데이터 및 비볼록 목표 함수 환경에서 국소 SGDA의 이론적 수렴 속도를 확립한다.
• 비볼록-비구간 문제를 다룰 수 있는 새로운 변형인 국소 SGDA+를 제안한다.

제안 방법

• 각 클라이언트가 글로벌 평균화 단계 사이에 주기적으로 평균화를 거치기 전에 원자리 및 이중 변수에 대해 다수의 국소 SGD 단계를 수행하는 국소 SGDA를 제안한다.
• 통신 빈도를 감소시킨 파라미터 서버 모델을 사용하며, 글로벌 평균화 단계 사이에 로컬 모델을 독립적으로 업데이트한다.
• 이질성과 국소 업데이트 노이즈를 고려하여 국소 변수와 글로벌 변수 간의 이탈을 제한하는 새로운 분석 프레임워크를 도입한다.
• 국소 변수의 드리프트와 기울기 비유사성 및 데이터 이질성의 영향을 분석함으로써 수렴 속도를 유도한다.
• 오차 누적 문제를 제어하기 위해 확률적 근사 및 분산 감소 기법을 활용한다.
• 비볼록-비구간 문제를 위한 확장으로 국소 SGDA+를 제안하며, 추가적인 안정화 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 분산 미니맥심 최적화에서 국소 업데이트가 통신 라운드 수를 크게 줄이며 수렴을 달성할 수 있는가?
• RQ2 데이터 이질성이 국소 SGDA의 미니맥심 문제에서의 수렴에 어떤 영향을 미치는가?
• RQ3 강凸-강구간 및 비볼록-강구간 설정에서 국소 SGDA의 이론적 수렴 속도는 무엇인가?
• RQ4 국소 SGDA는 비볼록-비구간 문제를 다룰 수 있도록 확장될 수 있으며, 어떤 수렴 보장을 확보할 수 있는가?
• RQ5 실제로 국소 SGDA의 통신 효율성은 표준 동기식 SGDA와 비교해 어떻게 되는가?

주요 결과

• 이질적, 강凸-강구간 설정에서 국소 SGDA는 $ O\left(\frac{\kappa^{2}(\Delta_{x}+\Delta_{y}+\sigma^{2})}{\mu nT}\right) $ 의 수렴 속도를 달성하며, 통신 횟수는 $ \Omega(\sqrt{nT}) $ 수준이다.
• 비볼록-강구간 설정에서는 $ O\left(\frac{L^{2}\sigma^{2}}{(nT)^{1/3}}\right) $ 의 속도를 확보하여 동기 방법 대비 통신 효율성이 향상된다.
• 비볼록-비구간 문제에 대해서는 국소 SGDA+가 $ O\left(\frac{L\sigma^{2}}{T^{1/6}}\right) $ 의 수렴 속도를 달성하여 도전적인 GAN 훈련 시나리오에의 적용 가능성을 보여준다.
• 분석 결과, 동일한 설정에서는 동기 SGDA 대비 통신 복잡도를 $ \tilde{O}(n) $ 배 정도 줄일 수 있다.
• 실험 결과는 이론적 발견을 뒷받침하며, GAN 및 강건 회귀와 같은 분산 미니맥심 문제에서 안정적이고 효율적인 훈련을 보여준다.
• 기울기 비유사성과 데이터 이질성을 효과적으로 다루며, 수렴 한계에 명시적으로 $ \zeta_x $ 및 $ \zeta_y $ 항목을 포함시켰다.