[논문 리뷰] Gradient Sparsification for Communication-Efficient Distributed Optimization

Jianqiao Wangni, Jialei Wang외 2명|arXiv (Cornell University)|2017. 10. 26.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 207

한 줄 요약

논문은 분산 최적화에서 난수 그래디언트를 희소화하기 위한 볼록 형식을 도입하여 희소성과 분산 간의 균형을 맞추고, 효율적인 알고리즘과 볼록 및 비볼록 문제에 대한 경험적 검증을 제공합니다.

ABSTRACT

Modern large scale machine learning applications require stochastic optimization algorithms to be implemented on distributed computational architectures. A key bottleneck is the communication overhead for exchanging information such as stochastic gradients among different workers. In this paper, to reduce the communication cost we propose a convex optimization formulation to minimize the coding length of stochastic gradients. To solve the optimal sparsification efficiently, several simple and fast algorithms are proposed for approximate solution, with theoretical guaranteed for sparseness. Experiments on $\ell_2$ regularized logistic regression, support vector machines, and convolutional neural networks validate our sparsification approaches.

연구 동기 및 목표

• 분산 스토캐스틱 최적화에서 그래디언트를 희소화하되 편향되지 않음을 유지하여 통신 비용을 줄인다.
• 분산성 예산 하에서 희소성을 최적화하는 볼록 문제를 형태화한다.
• 최적 희소화 문제를 해결하기 위해 희소성 보장을 갖는 빠른 알고리즘을 개발한다.
• 볼록 문제(logistic regression, SVM) 및 심층 신경망에서 효과를 보여준다.
• 희소성과 분산 간의 무게를 이론적으로 분석한다.

제안 방법

• 그라디언트 g를 좌표 i를 pi의 확률로 보존하고 보존된 좌표를 gi/pi로 증폭시켜 편향되지 않은 Q(g)를 유지한다.
• 분산 제약 sum gi^2/pi ≤ (1+ε) sum gi^2 아래에서 전체 희소성 합 pi를 최소화하는 선형 계획(problem)을 형식화한다.
• pi = min(λ|gi|, 1)인 해를 갖는 닫힌 형식의 최적 해를 도출하고, 상위 크기의 좌표들로 구성된 지배 집합 Sk를 pi=1로 유지함을 보인다.
• 확률 벡터 p를 효율적으로 계산하는 두 가지 실용 알고리즘(알고리즘 2의 닫힌 형식; 알고리즘 3의 탐욕적 방법)을 제공한다.
• 좌표를 Sk와 비 Sk로 나누어 증폭된 부분과 비증폭된 부분의 표현을 포함한 효율적 전송 코딩 전략을 논의한다.
• 동기식(알고리즘 1) 및 비동기 분산 최적화 설정에의 통합을 개략적으로 제시한다.
• (ρ, s)-근사적으로 희소한 그래디언트 하에서 이론적 희소성 보장과 대응하는 코딩 길이(bound)를 제시한다.

실험 결과

연구 질문

• RQ1 확률적 그래디언트 희소화가 수렴에 큰 영향을 주지 않으면서도 상당한 통신 감소를 이룰 수 있는가?
• RQ2 주어진 분산성 예산 하에서 그래디언트 희소성과 분산 사이의 최적 트레이드오프는 무엇인가?
• RQ3 선형 시간 내에 보장과 함께 근사 최적의 희소화 확률을 계산할 수 있는가?
• RQ4 그래디언트 희소화가 표준 분산 최적화 방법(SGD, SVRG, ADAM) 및 코딩 전략과 어떻게 상호 작용하는가?
• RQ5 제안된 희소화 방법이 볼록 및 비볼록 문제와 실제 데이터셋에 일반화되는가?

주요 결과

• 희소화 방법은 좌표 i를 확률 p_i로 샘플링하고 보존 좌표에 대해 1/p_i로 스케일링함으로써 Q(g)의 무偏성을 달성한다.
• 희소성을 분산 예산 아래 최소화하는 볼록 형식은 p_i = min(λ|g_i|, 1)이며 데이터 의존적인 λ가 있다.
• 희소성 보장을 갖춘 닫힌 형식 해와 탐욕적 알고리즘의 두 가지 실용적 알고리즘이 p를 효율적으로 계산한다.
• 이 접근법은 ℓ2-정규화 로지스틱 회귀, SVM 및 CNN에서 코딩 길이와 통신을 감소시키면서 수렴성을 경쟁력 있게 유지한다.
• 경험적 결과는 phương이 균일 샘플링보다 우수하며 QSGD와도 다양한 희소도 및 데이터 분포에서 경쟁력을 보이며, 더 강한 희소성이 통신 효율성에서 더 큰 이점을 제공한다.
• 이론 분석은 (ρ, s)-근사적으로 희소한 그래디언트와 기대 희소성 상한 및 분산 증가의 제어 가능한 관계를 연결한다.