[논문 리뷰] Stochastic Sign Descent Methods: New Algorithms and Better Theory

Mher Safaryan, Peter Richtárik|arXiv (Cornell University)|2019. 05. 30.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 표준적인 유한 분산 가정 하에서 분산 학습에서 수렴성을 확보하는 새로운 신호 기반 최적화 방법인 Stochastic Sign Descent with Momentum (SSDM)을 소개한다. 이는 signSGD의 근본적인 결함을 해결하며, 1비트 압축과 작은 미니배치에서 최적 수렴 속도를 달성할 수 있도록 새로운 기울기 노름과 이론적 프레임워크를 제안한다.

ABSTRACT

Various gradient compression schemes have been proposed to mitigate the communication cost in distributed training of large scale machine learning models. Sign-based methods, such as signSGD, have recently been gaining popularity because of their simple compression rule and connection to adaptive gradient methods, like ADAM. In this paper, we analyze sign-based methods for non-convex optimization in three key settings: (i) standard single node, (ii) parallel with shared data and (iii) distributed with partitioned data. For single machine case, we generalize the previous analysis of signSGD relying on intuitive bounds on success probabilities and allowing even biased estimators. Furthermore, we extend the analysis to parallel setting within a parameter server framework, where exponentially fast noise reduction is guaranteed with respect to number of nodes, maintaining $1$-bit compression in both directions and using small mini-batch sizes. Next, we identify a fundamental issue with signSGD to converge in distributed environment. To resolve this issue, we propose a new sign-based method, {\em Stochastic Sign Descent with Momentum (SSDM)}, which converges under standard bounded variance assumption with the optimal asymptotic rate. We validate several aspects of our theoretical findings with numerical experiments.

연구 동기 및 목표

• 분할된 데이터를 가진 분산 환경에서 signSGD에 대한 이론적 수렴 보장이 부족한 문제를 해결한다.
• 표준 가정 하에서 1비트 압축을 유지하면서 최적 수렴 속도를 달성하는 신호 기반 방법을 개발한다.
• 단일 노드, 병렬, 분산 환경을 아우르는 신호 기반 방법에 대한 통합된 이론적 프레임워크를 제공한다.
• 신호 기반 최적화에서 편향된 기울기 추정기와 비균일한 성공 확률 문제를 해결한다.
• Rosenbrock 함수와 FNN을 사용한 MNIST에서 이론적 주장의 타당성을 실험적으로 검증한다.

제안 방법

• 기울기를 측정하기 위한 새로운 ρ-노름을 제안하며, 이는 l¹ 및 l² 노름을 일반화하여 더 탐색 가능한 수렴 분석을 가능하게 한다.
• 신호 기반 업데이트와 모멘텀을 결합한 새로운 알고리즘인 Stochastic Sign Descent with Momentum (SSDM)을 도입한다. 이는 학습의 안정성을 높인다.
• 비.i.i.d. 및 비대칭 기울기 분포 하에서의 수렴을 분석하기 위해 성공 확률 한계(SPB)를 핵심 이론적 도구로 사용한다.
• 병렬 및 분산 학습을 모델링하기 위해 파라미터 서버 프레임워크를 적용하며, 노드 수가 증가함에 따라 노이즈 감소가 지수적으로 향상된다.
• 유한 분산과 약한 매끄러움 가정 하에서 수렴 속도를 유도하며, 기울기 성공 확률에 대한 명시적 의존성을 포함한다.
• 분산 환경에서 신뢰도를 향상시키기 위해 다수결 투표 메커니즘을 적용하면서도, 양방향으로 1비트 통신을 유지한다.

실험 결과

연구 질문

• RQ1 신호 기반 방법은 분할된 데이터와 1비트 압축 하에서 분산 학습에서 최적 수렴 속도를 달성할 수 있는가?
• RQ2 signSGD가 수렴하지 못하는 이론적 조건은 무엇이며, 이를 어떻게 보완할 수 있는가?
• RQ3 성공 확률 한계(SPB)는 신호 기반 방법의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 모멘텀 기반 신호 방법은 편향된 추정기 문제를 다룰 수 있으며, 표준적인 유한 분산 가정 하에서 수렴을 유지할 수 있는가?
• RQ5 미니배치 크기와 기울기 분포의 선택은 신호 기반 방법의 수렴 역학에 어떤 영향을 미치는가?

주요 결과

• 표준적인 유한 분산 가정 하에서 SSDM은 O(1/K¹/⁴)의 수렴 속도를 달성하며, 비볼록 최적화에서 알려진 최고의 속도와 일치한다.
• 제안된 ρ-노름은 편향된 기울기 추정기와 비.i.i.d. 기울기 조건 하에서도 신호 기반 방법의 수렴 분석을 가능하게 한다.
• 공유된 데이터를 가진 병렬 환경에서는 노드 수에 비례해 지수적 노이즈 감소가 달성되며, 1비트 압축을 유지한다.
• 수치 실험 결과, 성공 확률 한계가 충족될 경우 signSGD가 다중 모odal 및 비대칭 기울기 분포 하에서도 수렴할 수 있음을 확인했다.
• 특히 성공 확률이 높고 미니배치 크기가 작을 경우, SGD보다 초기 학습 효율성이 향상됨을 보였다.
• 더 큰 미니배치 크기는 이론적 성공 확률 및 미니배치 크기 의존성에 부합하는 바람직한 수렴을 이끌어낸다.