[논문 리뷰] signSGD: Compressed Optimisation for Non-Convex Problems

Jeremy Bernstein, Yu-Xiang Wang외 2명|arXiv (Cornell University)|2018. 02. 13.

Stochastic Gradient Optimization Techniques인용 수 88

한 줄 요약

signSGD는 분산 비볼록 최적화에서 통신을 줄이기 위해 기울기 부호만 전송하고 SGD 유사한 수렴을 보이며, 다수결 투표를 통해 양방향 1비트 통신이 가능하고 분산 노이즈 감소를 보장한다.

ABSTRACT

Training large neural networks requires distributing learning across multiple workers, where the cost of communicating gradients can be a significant bottleneck. signSGD alleviates this problem by transmitting just the sign of each minibatch stochastic gradient. We prove that it can get the best of both worlds: compressed gradients and SGD-level convergence rate. The relative $\ell_1/\ell_2$ geometry of gradients, noise and curvature informs whether signSGD or SGD is theoretically better suited to a particular problem. On the practical side we find that the momentum counterpart of signSGD is able to match the accuracy and convergence speed of Adam on deep Imagenet models. We extend our theory to the distributed setting, where the parameter server uses majority vote to aggregate gradient signs from each worker enabling 1-bit compression of worker-server communication in both directions. Using a theorem by Gauss we prove that majority vote can achieve the same reduction in variance as full precision distributed SGD. Thus, there is great promise for sign-based optimisation schemes to achieve fast communication and fast convergence. Code to reproduce experiments is to be found at https://github.com/jxbz/signSGD .

연구 동기 및 목표

• 대규모 분산 딥러닝에서 기울기 통신 병목 현상의 원인을 제시한다.
• 압축을 통해 SGD 수준의 수렴을 달성하기 위한 부호 기반 기울기 업데이트를 제안한다.
• 편향된 부호 기반 업데이트 하에서의 비볼록 최적화에 대한 이론을 개발한다.
• 분산 환경에서 다수결 및 양방향 1비트 통신을 활용하는 설정으로 확장한다.
• 모멘텀 변형(Signum)과 그 수렴 및 실용적 성능을 탐구한다.

제안 방법

• 확률적 기울기의 부호만을 사용하는 업데이트를 갖는 signSGD를 도입한다.
• 기울기의 모멘텀 평균에 부호를 적용하여 Signum을 제안한다.
• 좌표별 부드러움(coordinate-wise smoothness)과 좌표별 분산 상한을 포함하는 비볼록 가정 아래 수렴을 분석한다.
• 파라미터 서버가 M개의 워커의 1비트 기울기 부호를 모아들이는 분산 다수결 스킴을 개발한다.
• 기울기와 잡음의 밀도 특성에 따라 SGD와 유사한 수렴 속도를 보이는 수렴 경계를 제시한다.
• Signum 모멘텀을 포함하도록 이론적 프레임워크를 확장하고 warmup 기간과 함께 수렴을 도출한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 부호 기반 기울기 방법이 SGD에 필적하는 수렴 속도를 달성하는 조건은 무엇인가?
• RQ2 좌표 간 기울기와 노이즈의 밀도가 signSGD와 Signum의 성능에 어떤 영향을 미치는가?
• RQ3 다수결이 수렴 저하 없이 양방향에서 효과적인 1비트 통신을 달성할 수 있는가?
• RQ4 부호 기반 방법에서 모멘텀의 편향-분산 트레이드오프에 미치는 영향은 무엇인가?
• RQ5 CIFAR-10 및 ImageNet과 같은 대규모 데이터셋에서 sign-based 방법이 Adam 및 SGD와 비교해 실험적으로 어떤 성능을 보이는가?

주요 결과

• signSGD는 특정 L1/L2 기하학 및 잡음 조건에서 SGD에 필적하는 수렴 속도를 달성한다.
• 분산 설정에서 다수결은 양방향 1비트 통신을 가능하게 하며, 단일모드 대칭 노이즈하에서 분산은 대략 sqrt(M)배만큼 감소한다.
• Signum(모멘텀을 갖춘 부호)은 수렴하고 대형 모델에서 Adam과 비슷한 성능에 도달할 수 있으며 정확도도 경쟁력 있다.
• 이론은 기울기와 노이즈 밀도를 강조한다: 기울기가 조밀할 때 signSGD는 희소한 고분산 구성요소에 대해 로버스트하며; 기울기가 희소할 때 SGD가 곡률과 노이즈에 더 강건할 수 있다.
• CIFAR-10 및 Imagenet에 대한 실험 결과 signSGD/Signum이 SGD/Adam에 비해 유의미하게 비슷하게 동작하며, Signum은 Imagenet에 준하는 성능을 달성하고 정확도 면에서 Adam과의 대등점을 보일 가능성이 있다.