[논문 리뷰] Asynchronous Stochastic Gradient Descent with Delay Compensation

Shuxin Zheng, Qi Meng외 5명|arXiv (Cornell University)|2016. 09. 27.

Advanced Neural Network Applications참고 문헌 26인용 수 160

한 줄 요약

논문은 Delay Compensated ASGD (DC-ASGD)를 소개합니다. Taylor expansion과 저비용 Hessian 근사를 사용하여 비동기 SGD에서 지연된 그래디언트를 보상하고, 순차 SGD에 근접한 수렴을 달성하면서 ASGD의 효율성을 유지합니다.

ABSTRACT

With the fast development of deep learning, it has become common to learn big neural networks using massive training data. Asynchronous Stochastic Gradient Descent (ASGD) is widely adopted to fulfill this task for its efficiency, which is, however, known to suffer from the problem of delayed gradients. That is, when a local worker adds its gradient to the global model, the global model may have been updated by other workers and this gradient becomes "delayed". We propose a novel technology to compensate this delay, so as to make the optimization behavior of ASGD closer to that of sequential SGD. This is achieved by leveraging Taylor expansion of the gradient function and efficient approximation to the Hessian matrix of the loss function. We call the new algorithm Delay Compensated ASGD (DC-ASGD). We evaluated the proposed algorithm on CIFAR-10 and ImageNet datasets, and the experimental results demonstrate that DC-ASGD outperforms both synchronous SGD and asynchronous SGD, and nearly approaches the performance of sequential SGD.

연구 동기 및 목표

• 딥 신경망 학습에서 ASGD의 지연된 그래디언트 문제를 동기화 없이 해결하도록 동기를 부여하고 다룬다.
• Taylor expansion과 확장 가능한 Hessian 근사를 기반으로 한 지연 보상 메커니즘 개발.
• (-대각) Hessian 근사를 이용한 구현 가능한 DC-ASGD 알고리즘 제안 및 수렴 분석.
• CIFAR-10 및 ImageNet에서 ASGD, SSGD 및 순차 SGD와 비교하여 DC-ASGD를 실험적으로 검증한다.
• ASGD의 효율성을 유지하면서 순차 SGD에 가까운 수렴 속도와 정확도 향상을 보여준다.

제안 방법

• Taylor expansion을 통해 ASGD의 그래디언트 지연을 공식화하고 지연된 그래디언트의 0차 특성을 확인한다.
• 저비용 Hessian 근사를 그래디언트의 외적과 대각화 기법(저장 공간 감소를 위한 Diag(λG))에 기반해 사용한다.
• 지연 보상 그래디언트 g(w_t) + λ g(w_t) ⊙ g(w_t) ⊙ (w_t+τ − w_t) 를 도출하고 이를 이용해 글로벌 모델을 업데이트한다(Eq. 10).
• 두 가지 구현 변형 제안: DC-ASGD-c (상수 λ)와 DC-ASGD-a (MeanSquare 추적을 통한 적응 λ).
• 경계 지연 하의 비볼록 신경망에 대한 수렴 이론 제시 및 O(1/√T)의 에르고딕 속도와 지연 허용도 논의.
• CIFAR-10에서의 실험(ResNet-20/ResNet-50 규모) 및 ImageNet(ResNet-50)에서 DC-ASGD를 ASGD, SSGD, 순차 SGD와 비교.

실험 결과

연구 질문

• RQ1 ASGD에서의 지연된 그래디언트를 비동기 업데이트의 속도 이점을 희생하지 않고 효과적으로 보상할 수 있는가?
• RQ2 Taylor 기반 지연 보상과 Hessian 근사가 한정된 지연 하의 비볼록 신경망에서 얼마나 잘 작동하는가?
• RQ3 DC-ASGD가 ASGD 및 SSGD 대비 우수한 수렴 속도와 최종 정확도를 제공하고 순차 SGD에 접근하는가?
• RQ4 상수와 적응형 λ 설정이 안정성, 분산 및 성능에 어떤 영향을 미치는가?
• RQ5 ImageNet과 같은 큰 데이터셋에서 많은 작업자와 함께 DC-ASGD가 확장 가능한가?

주요 결과

• DC-ASGD는 CIFAR-10에서 다양한 작업자 수에 대해 ASGD 및 SSGD보다 수렴 속도와 최종 정확도에서 우수하다.
• CIFAR-10에서 4 작업자일 때, DC-ASGD-c는 8.67% 오차, DC-ASGD-a는 8.19%로 순차 SGD(8.65%), ASGD(9.27%), SSGD(9.17%)보다 낫다.
• 8 작업자에서 DC-ASGD-a는 8.57% 오차를 달성하여 DC-ASGD-c의 9.27%, ASGD의 10.26%, SSGD의 10.10%를 능가한다.
• ImageNet에서 DC-ASGD-a가 16 작업자일 때 top-1 오차 25.18%로 ASGD(25.64%) 및 SSGD(25.30%)보다 낫고, ASGD와 비슷한 월실행 효율성을 유지한다.
• 이론적 결과는 DC-ASGD가 지연이 한정된 상태에서 ergodic 수렴 속도 O(V/√T)를 가지며 적절한 λ 및 지연 조건에서 ASGD를 능가할 수 있음을 보인다.
• 적응형 λ 변형(DC-ASGD-a)가 일반적으로 상수 λ 변형(DC-ASGD-c)보다 실험적으로 더 강한 성능을 보인다.