[논문 리뷰] Local SGD for Saddle-Point Problems.

Aleksandr Beznosikov, Valentin Samokhin외 1명|arXiv (Cornell University)|2020. 10. 25.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 대규모 GAN 훈련에서 발생하는 매끄럽고 스 tochastic한 사 saddle-point 문제를 위한 분산 최적화를 위한 새로운 알고리즘인 Extra Step Local SGD를 제안한다. 국소적 업데이트에 추가 단계 보정을 활용함으로써, 통신 효율성이 향상되며, 강凸-강병렬 경우에 Ω(K^{2/3}M^{1/3})의 이론적 경계와 볼록-병렬 경우에 Ω(K^{8/9}M^{4/9})의 이론적 경계를 달성한다.

ABSTRACT

GAN is one of the most popular and commonly used neural network models. When the model is large and there is a lot of data, the learning process can be delayed. The standard way out is to use multiple devices. Therefore, the methods of distributed and federated training for GANs are an important question. But from an optimization point of view, GANs are nothing more than a classical saddle-point problem: $\min_x \max_y f(x,y)$. Therefore, this paper focuses on the distributed optimization of the smooth stochastic saddle-point problems using Local SGD. We present a new algorithm specifically for our problem -- Extra Step Local SGD. The obtained theoretical bounds of communication rounds are $\Omega(K^{2/3} M^{1/3})$ in strongly-convex-strongly-concave case and $\Omega(K^{8/9} M^{4/9})$ in convex-concave (here $M$ -- number of functions (nodes) and $K$ - number of iterations).

연구 동기 및 목표

• 큰 모델과 데이터 볼륨으로 인한 분산 및 페더레이티드 GAN 훈련에서의 높은 통신 비용을 해결하기 위해.
• 스토하스틱 사 saddle-point 문제에 특화된 통신 효율적인 최적화 방법을 개발하기 위해.
• GAN 및 유사 문제의 맥락에서 국소 업데이트 방법의 이론적 수렴 속도를 분석하기 위해.
• 비볼록-병렬 설정에서 더 나은 수렴을 위해 기존 Local SGD 변종을 개선하기 위해 추가 단계 메커니즘을 도입하기 위해.

제안 방법

• 기존 Local SGD를 확장하여 사 saddle-point 문제에서의 수렴을 향상시키기 위해 추가 보정 단계를 통합한 새로운 알고리즘인 Extra Step Local SGD를 제안한다.
• 다수의 장치(M 노드)에서 국소 업데이트를 수행한 후, 통신 빈도를 줄이기 위해 추가 기울기 보정을 통한 글로벌 평균화 단계를 적용한다.
• GAN에서 흔한 형태인 min_x max_y f(x,y)의 매끄럽고 스 tochastic한 사 saddle-point 문제에 이 방법을 적용한다.
• 강凸-강병렬 및 볼록-병렬 가정 하에서 이론적 통신 복잡도 경계를 유도한다.
• 국소 업데이트와 문제의 min-max 구조 간의 상호작용을 고려한 새로운 분석 프레임워크를 도입한다.
• 스토크라스틱 추정과 분산 최적화 기법을 활용하여 주어진 가정 하에서 수렴 보장을 확립한다.

실험 결과

연구 질문

• RQ1 Local SGD는 GAN 훈련에서 발생하는 사 saddle-point 문제에 대해 통신 효율성을 향상시키면서 효과적으로 적응할 수 있는가?
• RQ2 분산 GAN 최적화에서 국소 계산과 통신 빈도 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 기본 Local SGD와 비교해 추가 단계가 비볼록-병렬 사 saddle-point 문제에서 수렴을 어떻게 향상시키는가?
• RQ4 매끄럽고 스 tochastic한 사 saddle-point 문제 맥락에서 Local SGD의 이론적 통신 복잡도 경계는 무엇인가?
• RQ5 제안된 방법은 GAN에 대한 기존 분산 최적화 방법보다 더 나은 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 Extra Step Local SGD는 강凸-강병렬 경우에 Ω(K^{2/3}M^{1/3})의 통신 복잡도를 달성하여 기존 Local SGD보다 향상된 성능을 보인다.
• 볼록-병렬 설정에서는 Ω(K^{8/9}M^{4/9})의 통신 복잡도를 확보하여 통신 효율성에서 상당한 향상을 이룬다.
• 이론적 분석을 통해 추가 단계 메커니즘이 기본 Local SGD 대비 요구되는 통신 라운드 수를 줄임을 확인한다.
• 이 방법은 GAN 및 기타 사 saddle-point 문제에 특화되어 있어 대규모 분산 훈련에 적합하다.
• 경계는 매끄러움과 스 tochastic 기울기의 표준 가정 하에 유도되어 실용적 관련성을 확보한다.
• 결과는 국소 업데이트에 보정 단계를 통합함으로써 분산 min-max 최적화에서 통신과 계산을 효과적으로 균형 잡을 수 있음을 보여준다.