[논문 리뷰] Fast decentralized non-convex finite-sum optimization with recursive variance reduction

Ran Xin, Usman A. Khan외 1명|arXiv (Cornell University)|2020. 08. 17.

Stochastic Gradient Optimization Techniques참고 문헌 56인용 수 11

한 줄 요약

이 논문은 방향성 네트워크에서 비볼록 유한합 문제를 위한 분산형 확률적 1차 최적화 알고리즘인 GT-SARAH을 제안한다. 기울기 추적과 순환적 분산 감소(SARAH)를 조합함으로써, 대규모 데이터 환경에서 최적의 기울기 복잡도 $\mathcal{O}(N^{1/2}L\epsilon^{-2})$를 달성하며, 중심화된 근사 최적 방법과 동일하고 노드 간 비점근적 선형 속도 향상을 가능하게 한다.

ABSTRACT

This paper considers decentralized minimization of $N:=nm$ smooth non-convex cost functions equally divided over a directed network of $n$ nodes. Specifically, we describe a stochastic first-order gradient method, called GT-SARAH, that employs a SARAH-type variance reduction technique and gradient tracking (GT) to address the stochastic and decentralized nature of the problem. We show that GT-SARAH, with appropriate algorithmic parameters, finds an $ε$-accurate first-order stationary point with $O\big(\max\big\{N^{\frac{1}{2}},n(1-λ)^{-2},n^{\frac{2}{3}}m^{\frac{1}{3}}(1-λ)^{-1}\big\}Lε^{-2}\big)$ gradient complexity, where ${(1-λ)\in(0,1]}$ is the spectral gap of the network weight matrix and $L$ is the smoothness parameter of the cost functions. This gradient complexity outperforms that of the existing decentralized stochastic gradient methods. In particular, in a big-data regime such that ${n = O(N^{\frac{1}{2}}(1-λ)^{3})}$, this gradient complexity furthers reduces to ${O(N^{\frac{1}{2}}Lε^{-2})}$, independent of the network topology, and matches that of the centralized near-optimal variance-reduced methods. Moreover, in this regime GT-SARAH achieves a non-asymptotic linear speedup, in that, the total number of gradient computations at each node is reduced by a factor of $1/n$ compared to the centralized near-optimal algorithms that perform all gradient computations at a single node. To the best of our knowledge, GT-SARAH is the first algorithm that achieves this property. In addition, we show that appropriate choices of local minibatch size balance the trade-offs between the gradient and communication complexity of GT-SARAH. Over infinite time horizon, we establish that all nodes in GT-SARAH asymptotically achieve consensus and converge to a first-order stationary point in the almost sure and mean-squared sense.

연구 동기 및 목표

• 고차원적이고 비볼록인 비용 함수가 네트워크의 노드들에 분산된 경우에 대한 분산 비볼록 유한합 최적화 문제에 도전한다.
• 새로운 분산 감소 메커니즘을 통해 분산 환경에서의 높은 기울기 분산과 공통 인식 부족 문제를 해결한다.
• 중앙 집중적 근사 최적 알고리즘과 비교해도 최적의 기울기 복잡도를 달성하면서도 분산 계산 및 통신을 유지한다.
• 대규모 데이터 환경에서 비점근적 선형 속도 향상을 확립한다. 이 경우, 각 노드의 총 기울기 계산량은 중심화된 방법 대비 $1/n$ 비율로 스케일링된다.

제안 방법

• 분산 비볼록 최적화를 위한 기울기 추적(GT)과 SARAH 분산 감소 기법을 통합한 확률적 1차 방법인 GT-SARAH을 제안한다.
• 지역적 확률적 기울기와 이전 추정치를 사용해 저분산 기울기 추정치를 유지하기 위해 순환적 분산 감소 기법을 사용한다.
• 기울기 추적을 도입해 네트워크 전반에서 국소 추정치를 일치시켜 공통 인식과 제1차 정류점으로의 수렴을 보장한다.
• 분석을 단순화하고 수렴 보장을 유지하기 위해 이중 루프 구조를 사용하며, 단일 루프 재구성 기법을 적용한다.
• 적응형 지역 미니배치 크기 선택을 통해 기울기 복잡도와 통신 복잡도의 균형을 맞춘다.
• 새로운 순환 부등식 시스템과 행렬 노름 한계를 사용해 수렴 분석을 수행하고, 엄밀한 기울기 복잡도 한계를 도출한다.

실험 결과

연구 질문

• RQ1 분산 알고리즘이 비볼록 유한합 문제에서 중심화된 근사 최적 분산 감소 방법과 동일한 기울기 복잡도를 달성할 수 있는가?
• RQ2 제안된 알고리즘이 $n = \mathcal{O}(N^{1/2}(1-\lambda)^3)$ 인 대규모 데이터 환경에서 비점근적 선형 속도 향상을 달성하는가?
• RQ3 순환적 분산 감소 기법이 확률적 기울기와 함께 분산 비볼록 최적화에서 수렴을 어떻게 향상시키는가?
• RQ4 제안된 알고리즘에서 기울기 복잡도와 통신 복잡도 사이의 상호 교환 관계는 어떠한가?
• RQ5 알고리즘이 거의 확실한 의미와 평균 제곱 의미에서 공통 인식을 확보하고 제1차 정류점으로 수렴하는가?

주요 결과

• GT-SARAH는 $\mathcal{O}\big{(}\max\big{\{}N^{1/2},n(1-\lambda)^{-2},n^{2/3}m^{1/3}(1-\lambda)^{-1}\big{\}}L\epsilon^{-2}\big{)}$의 기울기 복잡도를 달성하며, 기존의 분산 확률적 기울기 방법보다 더 날카롭다.
• 대규모 데이터 환경에서 $n = \mathcal{O}(N^{1/2}(1-\lambda)^3)$ 인 경우, 기울기 복잡도는 $\mathcal{O}(N^{1/2}L\epsilon^{-2})$로 감소하며, 중심화된 최적 속도와 일치한다.
• 알고리즘은 비점근적 선형 속도 향상을 달성한다: 각 노드의 총 기울기 계산량은 중심화된 방법 대비 $1/n$ 배로 감소한다.
• 모든 노드는 점근적으로 공통 인식을 이루며, 거의 확실한 의미와 평균 제곱 의미에서 제1차 정류점으로 수렴한다.
• 적절한 지역 미니배치 크기 선택이 기울기 복잡도와 통신 복잡도 사이의 상호 교환 관계를 균형 있게 유지한다.
• 분석은 $L$-리프쉬츠 연속성과 국소 기울기 분산의 유한성 조건 하에 수행되었으며, 네트워크 스펙트럼 갭 $(1-\lambda)$에 명시적인 의존성을 보였다.