[논문 리뷰] Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization

Zhouyuan Huo, Heng Huang|arXiv (Cornell University)|2016. 04. 12.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 23

한 줄 요약

이 논문은 비볼록 최적화를 위한 비동기적 확률적 경사 하강법과 분산 감소를 결합한 AsySVRG에 대한 이론적 수렴 분석을 처음으로 제시한다. AsySVRG가 공유 메모리 및 분산 메모리 아키텍처 모두에서 $O(1/T)$ 수렴 속도를 달성함을 증명하며, 작업자 수를 늘일 경우 선형 속도 향상을 보이며, 표준 비동기 SGD를 초월해 수렴을 가속화하는 데 분산 감소 기법을 활용한다.

ABSTRACT

We provide the first theoretical analysis on the convergence rate of the asynchronous stochastic variance reduced gradient (SVRG) descent algorithm on non-convex optimization. Recent studies have shown that the asynchronous stochastic gradient descent (SGD) based algorithms with variance reduction converge with a linear convergent rate on convex problems. However, there is no work to analyze asynchronous SGD with variance reduction technique on non-convex problem. In this paper, we study two asynchronous parallel implementations of SVRG: one is on a distributed memory system and the other is on a shared memory system. We provide the theoretical analysis that both algorithms can obtain a convergence rate of $O(1/T)$, and linear speed up is achievable if the number of workers is upper bounded. V1,v2,v3 have been withdrawn due to reference issue, please refer the newest version v4.

연구 동기 및 목표

• 이전 연구가 볼록 설정에만 집중한 바, 비볼록 문제에 대한 비동기 SVRG의 이론적 이해 격차를 메우기 위해.
• 공유 메모리 및 분산 메모리 시스템이라는 두 가지 별개의 병렬 아키텍처에서 AsySVRG의 수렴 행동을 분석하기 위해.
• 비볼록 설정에서 표준 비동기 SGD보다 빠른 수렴을 가능하게 하는 분산 감소의 기여를 입증하기 위해.
• 공유 메모리 및 분산 메모리 아키텍처에서 모두 작업자 수를 늘일 경우 선형 속도 향상이 달성 가능함을 증명하기 위해.

제안 방법

• 공유 메모리용(각 좌표별 원자적 업데이트)과 분산 메모리용(원자적 벡터 업데이트)의 두 가지 비동기 SVRG 변형을 제안한다.
• 비볼록 문제의 수렴 기준으로 $\mathbb{E}[||\nabla f(x)||^2]$의 가중 평균 제곱 기울기 노름을 사용한다.
• 재귀 기반 분석을 적용하여 오차 항을 극한으로 제한하며, 분산과 지연 영향을 제어하기 위해 계수 $c_t$와 $\Gamma_t$를 도입한다.
• 표준 가정을 적용: 편향 없는 기울기, $L$-리프시츠 연속성, 유한한 시간 지연 $\Delta$.
• 스태일드 기울기를 포함한 SVRG 업데이트 규칙을 활용하여, 각 에포크당 목적 함수 값의 기대 감소를 분석함으로써 수렴 경계를 유도한다.
• 시간에 따라 변하는 학습률 $\eta_t = \eta = \frac{u_0 b}{L n^\alpha}$를 사용하며, $0 < \alpha < 1$로 설정하고, 각 에포크당 $m = \lfloor n^\alpha / (6u_0 b) \rfloor$회의 반복을 설정한다.

실험 결과

연구 질문

• RQ1 비동기 SVRG는 비볼록 최적화에서 표준 비동기 SGD보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 AsySVRG는 공유 메모리 및 분산 메모리 아키텍처 모두에서 비볼록 문제에 대해 선형 수렴을 유지하는가?
• RQ3 비동기 SVRG의 비볼록 설정에서 작업자 수를 늘일 경우 선형 속도 향상이 달성 가능한가?
• RQ4 기울기 지연과 분산은 비볼록 목표 함수에 대한 비동기 SVRG의 수렴에 어떤 영향을 미치는가?

주요 결과

• AsySVRG는 공유 메모리 및 분산 메모리 아키텍처 모두에서 비볼록 스무스 문제에 대해 $O(1/T)$ 수렴 속도를 달성한다.
• 비볼록 설정에서 표준 비동기 SGD의 $O(1/\sqrt{T})$ 수렴 속도보다 더 빠른 수렴 속도를 보인다.
• 유한한 지연 $\Delta$ 하에서 작업자 수를 늘일 경우 선형 속도 향상이 이론적으로 입증된다.
• 분석을 통해 지연된 기울기가 존재하더라도 $\Delta^2$ 가 유한할 경우 방법이 안정적이고 수렴함을 입증한다.
• 이론적 경계는 $\sigma$에 의존하며, 이는 지연과 학습률가 충분히 제어될 경우 존재하는 작은 양수이다.
• MNIST 및 CIFAR-10에서의 실험 결과는 이론적 주장이 타당함을 검증하며, 더 빠른 수렴과 확장성의 가능성을 보여준다.