[논문 리뷰] ATOMO: Communication-efficient Learning via Atomic Sparsification

Hongyi Wang, Scott Sievert외 4명|arXiv (Cornell University)|2018. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 129

한 줄 요약

ATomo는 확률적 그래디언트를 원자 분해를 통한 일반 프레임워크로 희소화하여 QSGD와 TernGrad를 통합하고, 신경망 그래디언트에 SVD 기반 희소화를 적용할 때 속도 향상을 보인다.

ABSTRACT

Distributed model training suffers from communication overheads due to frequent gradient updates transmitted between compute nodes. To mitigate these overheads, several studies propose the use of sparsified stochastic gradients. We argue that these are facets of a general sparsification method that can operate on any possible atomic decomposition. Notable examples include element-wise, singular value, and Fourier decompositions. We present ATOMO, a general framework for atomic sparsification of stochastic gradients. Given a gradient, an atomic decomposition, and a sparsity budget, ATOMO gives a random unbiased sparsification of the atoms minimizing variance. We show that recent methods such as QSGD and TernGrad are special cases of ATOMO and that sparsifiying the singular value decomposition of neural networks gradients, rather than their coordinates, can lead to significantly faster distributed training.

연구 동기 및 목표

• 확률적 그래디언트를 임의의 원자 분해에서 희소화하여 통신 비용을 줄이는 일반적인 희소화 방법을 동기 부여하고 형식화한다.
• QSGD와 TernGrad와 같은 기존 방법들이 ATomo 프레임워크의 특수한 경우임을 보인다.
• 레이어 그래디언트의 특이값 분해(SVD)를 희소화하면 동일한 통신 예산으로 더 빠른 학습을 달성할 수 있음을 보여준다.
• 다른 원자 분해들에 걸쳐 희소성 제약하에서 분산 최소화에 대한 이론적 보장을 제공한다.
• 표준 데이터셋과 아키텍처에서 QSGD 및 TernGrad에 비해 spectral-ATomo를 실험적으로 평가하여 속도 향상과 정확도 영향력을 정량화한다.

제안 방법

• 단위 놈의 원자 a_i를 가지는 원자 분해 g = sum_i lambda_i a_i를 정의한다.
• 편향되지 않은 원자 희소화 제안: g_hat = sum_i (lambda_i t_i / p_i) a_i with t_i ~ Bernoulli(p_i) and fixed sparsity budget sum_i p_i = s.
• 희소성 제약 하에서 E||g_hat||^2를 최소화하는 해를 닫힌 형식의 최적화로 구하고, 선택된 분해에 따라 최적의 p_i를 lambda_i에 의존해 도출한다.
• 1-bit QSGD와 TernGrad가 특정 p_i를 갖는 ATomo의 특수한 사례로 도출되며, 해당 구역에서 분산 최적성을 입증한다.
• 행렬로 ATomo를 확장하고, 원소별 희소화와 스펙트럴(SVD) 희소화를 비교하며 Spectral-ATomo를 도입한다.
• 동일한 통신 비용에서 스펙트럴 희소화가 원소별 희소화보다 더 낮은 분산을 낳는 조건을 제시한다.

실험 결과

연구 질문

• RQ1 고정된 통신 비용 하에서 편향되지 않은 그래디언트 희소화를 위한 최적 분산을 달성하는 통합 원자 분해 프레임워크가 가능할까?
• RQ2 어떤 원자 분해(원소별, SVD, 푸리에 등)에서 통신 비용과 수렴 분산 사이의 최적의 절충을 얻을 수 있는가?
• RQ3 레이어 그래디언트의 SVD를 희소화하는 것이 원소별 희소화 방법에 비해 학습 시간을 줄이면서 정확도를 희생하지 않는가?
• RQ4 QSGD와 TernGrad가 언제 ATomo의 정확한 인스턴스가 되며 어떤 구간에서 최적인가?
• RQ5 표준 CNN/데이터셋에서 distributed training에서 Spectral-ATomo의 실용적 성능 이점은 무엇인가?

주요 결과

• ATomo는 어떤 원자 분해에 대해서도 분산 최소화를 위한 분산 최소화된 희소 편향 없는 그래디언트 추정기의 해를 닫힌 형식으로 제공한다.
• 1-bit QSGD와 TernGrad는 ATomo의 특수한 경우로서 각자의 매개변수 구간에서 최적이다.
• 레이어 그래디언트의 특이값 분해(Spectral-ATomo)를 통한 희소화는 동일한 통신 예산 하에서 원소별 희소화보다 더 빠른 학습을 낳을 수 있다.
• Spectral-ATomo와 QSGD는 실험 평가에서 QSGD 대비 학습 시간에서 약 2배, TernGrad 대비 약 3배까지의 속도 향상을 달성할 수 있다(논문 맥락에서 해석).
• CIFAR-10, CIFAR-100, SVHN에서 ResNet-18 및 VGG-11-BN으로의 실험은 Spectral-ATomo가 정확도와 충분한 속도 향상을 함께 달성함을 보여준다.