[논문 리뷰] Asynchronous Stochastic Proximal Methods for Nonconvex Nonsmooth Optimization

Rui Zhu, Di Niu외 1명|arXiv (Cornell University)|2018. 02. 24.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 비볼록, 비미분가능 최적화 문제에 대해 볼록 정규화자를 갖는 이방형 프록시멀 확률적 경사 하강법(Asyn-ProxSGD)을 제안하고 분석한다. 일정한 미니배치 크기와 분산 감소 없이도 $O(1/ ext{K}^{1/2})$의 에르고딕 수렴 속도를 확립하여, 이는 비동기 경사 하강법의 속도와 일치하며, 비볼록 설정에서 이방형 프록시멀SGD에 대해 이러한 결과를 처음으로 이룬다.

ABSTRACT

We study stochastic algorithms for solving nonconvex optimization problems with a convex yet possibly nonsmooth regularizer, which find wide applications in many practical machine learning applications. However, compared to asynchronous parallel stochastic gradient descent (AsynSGD), an algorithm targeting smooth optimization, the understanding of the behavior of stochastic algorithms for nonsmooth regularized optimization problems is limited, especially when the objective function is nonconvex. To fill this theoretical gap, in this paper, we propose and analyze asynchronous parallel stochastic proximal gradient (Asyn-ProxSGD) methods for nonconvex problems. We establish an ergodic convergence rate of $O(1/\sqrt{K})$ for the proposed Asyn-ProxSGD, where $K$ is the number of updates made on the model, matching the convergence rate currently known for AsynSGD (for smooth problems). To our knowledge, this is the first work that provides convergence rates of asynchronous parallel ProxSGD algorithms for nonconvex problems. Furthermore, our results are also the first to show the convergence of any stochastic proximal methods without assuming an increasing batch size or the use of additional variance reduction techniques. We implement the proposed algorithms on Parameter Server and demonstrate its convergence behavior and near-linear speedup, as the number of workers increases, on two real-world datasets.

연구 동기 및 목표

• 비볼록, 비미분가능 최적화 문제에서 이방형 확률적 프록시멀 방법에 대한 이론적 이해 부족을 해결한다.
• 목적 함수가 비볼록이고 정규화자가 비미분가능할 경우 이방형 프록시멀 경사 하강법의 수렴 분석 격차를 메운다.
• 분산 감소나 배치 크기 증가 없이도 일정한 미니배치 크기에서 확률적 프록시멀 방법의 수렴 보장을 제공한다.
• 파라미터 서버 프레임워크를 활용한 구현을 통해 실용적 확장성과 속도 향상을 입증한다.

제안 방법

• 비볼록 최적화에 대해 비미분가능 정규화자를 갖는 이방형 프록시멀 확률적 경사 하강법(Asyn-ProxSGD)을 제안한다.
• 각 워커 노드에서 훈련 데이터의 무작위로 샘플된 미니배치를 기반으로 확률적 경사를 계산한다.
• 목적 함수 $\Psi(x) = f(x) + h(x)$의 비미분가능 정규화 항 $h(x)$를 처리하기 위해 프록시멀 연산자를 적용한다.
• 워커들이 동기화 없이 독립적으로 글로벌 모델을 업데이트하도록 허용하여 통신 오버헤드를 감소시킨다.
• 비볼록 문제에 대해 에르고딕 수렴 속도 프레임워크를 사용해 수렴성을 분석한다.
• 분산 감소 기법 없이도 일정한 미니배치 크기에서 이론적 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 이방형 확률적 프록시멀 경사 하강법은 비볼록, 비미분가능 최적화 문제에서 수렴을 달성할 수 있는가?
• RQ2 분산 감소 없이 일정한 미니배치 크기에서 이방형 ProxSGD의 수렴 속도는 무엇인가?
• RQ3 워커 수가 증가함에 따라 Asyn-ProxSGD는 실질적으로 근접 선형 속도 향상을 달성하는가?
• RQ4 Asyn-ProxSGD의 수렴 특성은 비동기 경사 하강법과 비교해 수렴 속도와 확장성 측면에서 어떻게 다른가?

주요 결과

• 제안된 Asyn-ProxSGD는 비볼록 문제에서 $O(1/\text{K}^{1/2})$의 에르고딕 수렴 속도를 달성하며, 이는 비동기 경사 하강법의 속도와 일치한다.
• 이것은 비볼록 설정에서 배치 크기를 증가시키거나 분산 감소를 가정하지 않은 이방형 프록시멀SGD에 대해 처음으로 수렴 속도 결과를 제공한다.
• 두 개의 실세계 데이터셋에서의 실험 평가 결과, 워커 수가 증가함에 따라 반복 수와 실행 시간에서 근접 선형 속도 향상이 관찰되었다.
• a9a 데이터셋에서, 하위최적성 $10^{-3}$ 수준에서 8명의 워커를 사용할 경우 Asyn-ProxSGD는 반복 수에서 5.973배, 실행 시간에서 5.876배의 속도 향상을 달성했다.
• MNIST 데이터셋에서는 8명의 워커를 사용할 경우 반복 수에서 7.352배, 실행 시간에서 5.714배의 속도 향상을 기록했다.
• 이론적 분석을 통해 워커 수가 $O(K^{1/4})$ 이하일 경우 선형 속도 향상이 달성 가능하다고 확인했다.