[논문 리뷰] Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization

Xiangru Lian, Yijun Huang외 2명|arXiv (Cornell University)|2015. 06. 27.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 238

한 줄 요약

이 논문은 비볼록 최적화에서 이종 병렬 확률적 경사 하강법의 첫 번째 에르고딕 수렴 속도 $O(1/\sqrt{K})$를 확립하며, 워커 수가 $\sqrt{K}$ 이하일 경우 선형 속도 향상을 증명한다. 이는 네트워크 기반 및 공유 메모리 시스템을 모두 분석함으로써 딥러닝에서 이종 SGD의 실용적 성공에 이론적 근거를 제공한다.

ABSTRACT

Asynchronous parallel implementations of stochastic gradient (SG) have been broadly used in solving deep neural network and received many successes in practice recently. However, existing theories cannot explain their convergence and speedup properties, mainly due to the nonconvexity of most deep learning formulations and the asynchronous parallel mechanism. To fill the gaps in theory and provide theoretical supports, this paper studies two asynchronous parallel implementations of SG: one is on the computer network and the other is on the shared memory system. We establish an ergodic convergence rate $O(1/\sqrt{K})$ for both algorithms and prove that the linear speedup is achievable if the number of workers is bounded by $\sqrt{K}$ ($K$ is the total number of iterations). Our results generalize and improve existing analysis for convex minimization.

연구 동기 및 목표

• 이종 병렬 SGD의 비볼록 최적화에 대한 이론적 격차를 메우기 위해.
• 네트워크 기반 및 공유 메모리 이종 SGD 시스템에서의 수렴 및 속도 향상 분석을 위해.
• 딥러닝에서의 이론적 성공을 설명하는 엄밀한 수렴 속도를 확립하기 위해.
• 이전의 볼록 최적화 분석을 비볼록 설정으로 일반화하기 위해.

제안 방법

• 마스터-워커 아키텍처를 사용한 컴퓨터 네트워크에서의 이종 병렬 SGD 분석.
• 동시 업데이트를 허용하는 공유 메모리 시스템에서의 이종 병렬 SGD 분석.
• 스토하스틱 근사 및 리아푸노프 함수 기법을 사용해 에르고딕 수렴 속도 $O(1/\sqrt{K})$ 유도.
• 워커 수가 $O(\sqrt{K})$일 조건 하에 선형 속도 향상 확립.
• 네트워크 및 공유 메모리 모델을 모두 처리할 수 있는 통합 프레임워크 사용.
• 경계 기반의 스토하스틱 최적화 및 비볼록 분석 도구를 활용해 기울기 오차 및 수렴을 제한함.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 이종 병렬 SGD에 대한 수렴 속도를 확립할 수 있는가?
• RQ2 비볼록 문제에 대한 이종 SGD에서 선형 속도 향상이 성립하는가?
• RQ3 비볼록 환경에서 이종성에 의해 영향을 받는 네트워크 기반 및 공유 메모리 시스템 간의 수렴 성능은 어떻게 비교되는가?
• RQ4 속도 향상이 떨어지기 시작하는 워커 수의 이론적 한계는 무엇인가?
• RQ5 기존의 볼록 최적화 이론은 비볼록 딥러닝 환경으로 확장될 수 있는가?

주요 결과

• 논문은 네트워크 기반 및 공유 메모리 이종 SGD 모두에 대해 $O(1/\sqrt{K})$의 에르고딕 수렴 속도를 확립한다.
• 총 반복 수 $K$에 비례하여 워커 수가 $\sqrt{K}$ 이하일 경우 선형 속도 향상이 달성 가능하다.
• 이전의 볼록 최소화에 국한된 분석보다 일반화되고 향상된 결과를 제공한다.
• 수렴 속도는 딥러닝에서 일반적인 비볼록 목표 함수에서도 유지된다.
• 이 분석은 딥 네트워크를 훈련하는 데 있어서 이종 SGD의 실용적 성공에 대한 이론적 기반을 제공한다.
• 결과적으로, 제시된 워커 수 제한 하에 이종성은 수렴을 방해하지 않음을 확인한다.