[논문 리뷰] A near-optimal stochastic gradient method for decentralized non-convex finite-sum optimization.

Ran Xin, Usman A. Khan외 1명|arXiv (Cornell University)|2020. 08. 17.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 9

한 줄 요약

이 논문은 국소적 SARAH 유형의 분산 감소와 전역 기울기 추적을 조합한 near-optimal한 분산된 비볼록 유한합 최적화를 위한 확률적 기울기 방법인 GT-SARAH을 제안한다. 네트워크 크기와 스펙트럼 간격 조건 하에서 모든 노드에서의 기울기 계산 복잡도가 ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$로 나타나며, 이는 알고리즘 하한과 일치한다. 또한, 각 노드의 작업을 $1/n$ 배로 줄여 비대칭 선형 속도 향상을 달성한다.

ABSTRACT

This paper describes a $near$-$optimal$ stochastic first-order gradient method for decentralized finite-sum minimization of smooth non-convex functions. Specifically, we propose GT-SARAH that employs a local SARAH-type variance reduction and global gradient tracking to address the stochastic and decentralized nature of the problem. Considering a total number of $N$ cost functions, equally divided over a directed network of $n$ nodes, we show that GT-SARAH finds an $\epsilon$-accurate first-order stationary point in ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$ gradient computations across all nodes, independent of the network topology, when ${n\leq\mathcal{O}(N^{1/2}(1-\lambda)^{3})}$, where ${(1-\lambda)}$ is the spectral gap of the network weight matrix. In this regime, GT-SARAH is thus, to the best our knowledge, the first decentralized method that achieves the algorithmic lower bound for this class of problems. Moreover, GT-SARAH achieves a $non$-$asymptotic$ $linear$ $speedup$, in that, the total number of gradient computations at each node is reduced by a factor of $1/n$ compared to the near-optimal algorithms for this problem class that process all data at a single node. We also establish the convergence rate of GT-SARAH in other regimes, in terms of the relative sizes of the number of nodes $n$, total number of functions $N$, and the network spectral gap $(1-\lambda)$. Over infinite time horizon, we establish the almost sure and mean-squared convergence of GT-SARAH to a first-order stationary point.

연구 동기 및 목표

• 분산된 비볼록 유한합 최적화 문제를 위한 확률적 기울기 방법과 제한된 통신 환경에서의 과제를 해결한다.
• 기존의 분산 방법의 비효율성을 극복하여 근사 최적의 수렴 속도를 달성한다.
• 국소적 분산 감소와 전역 기울기 추적 기반으로 노드 간 기울기 계산에서 비대칭 선형 속도 향상을 가능하게 한다.
• 일반적인 네트워크 구조와 유한합 구조 하에서 수렴 보장을 수립한다.
• 특정 네트워크 크기 및 스펙트럼 간격 범위에서 이 클래스 문제의 이론적 알고리즘 하한을 달성한다.

제안 방법

• 국소적 SARAH 유형의 분산 감소와 전역 기울기 추적을 조합한 분산된 1차 최적화 방법을 도입한다.
• $n$개의 노드로 전체 최적화 문제를 분해하며, 각 노드는 $N/n$개의 함수를 처리하고, 전역 기울기의 국소적 추정치를 유지한다.
• 각 노드에서의 확률적 기울기의 분산을 감소시키기 위해 국소적 SARAH 유형 업데이트를 사용하여 수렴 안정성을 향상시킨다.
• 가중치가 부여된 네트워크 행렬을 통해 전역 기울기 추적을 실시하여 국소 기울기 추정치를 진짜 전역 기울기와 일치시킨다.
• 네트워크 가중치 행렬의 스펙트럼 간격 $(1 - \lambda)$을 조정하여 통신와 계산 간 상호 교환을 제어한다.
• 반복 과정에서 일관된 기울기 추적과 분산 감소 업데이트를 유지함으로써 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 분산된 확률적 기울기 방법이 비볼록 유한합 문제의 알고리즘 하한을 달성할 수 있는가?
• RQ2 제안된 방법이 중심화된 근사 최적 알고리즘 대비 노드 간 기울기 계산에서 비대칭 선형 속도 향상을 달성하는가?
• RQ3 네트워크 스펙트럼 간격 $(1 - \lambda)$과 노드 수 $n$이 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 무한 시간 영역에서 거의 확실 수렴과 평균 제곱 수렴 측면에서 방법의 수렴 행동은 어떠한가?
• RQ5 노드 수 $n$, $N$, $(1 - \lambda)$의 다양한 범위에서 근사 최적성을 유지할 수 있는가?

주요 결과

• GT-SARAH는 $\epsilon$-정확도의 1차 정적점에 도달하기 위해 모든 노드에서 ${\mathcal{O}(N^{1/2}\epsilon^{-1})}$의 기울기 계산을 수행하며, 이는 알려진 알고리즘 하한과 일치한다.
• 조건 $n \leq \mathcal{O}(N^{1/2}(1 - \lambda)^3)$ 하에서 GT-SARAH는 이론적 하한을 달성하며, 이는 이를 달성한 최초의 알려진 분산 방법이다.
• 비대칭 선형 속도 향상이 달성된다: 중심화된 근사 최적 알고리즘 대비 각 노드의 총 기울기 계산 수가 $1/n$ 배로 감소한다.
• 무한 시간 영역에서 거의 확실 수렴과 평균 제곱 수렴이 확립되어 있어, 확률적 노이즈에 대한 강건성을 확인한다.
• 다양한 범위에서 수렴 속도가 분석되며, $n$, $N$, 스펙트럼 간격 $(1 - \lambda)$에 의존함을 보이며 명시적 상한이 제공된다.
• 기울기 추적과 분산 감소의 활용 덕분에 일반적인 방향성 네트워크 구조에 관계없이 효과적으로 작동한다.