[논문 리뷰] Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking

Ran Xin, Usman A. Khan외 1명|arXiv (Cornell University)|2019. 09. 25.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 분산 학습에서의 경쟁적 수렴 속도를 향상시키기 위해 경사 추적(GT)과 SAGA 분산 감소 기법을 결합한 분산된 확률적 최적화 알고리즘인 GT-SAGA를 제안한다. 이는 기존의 분산된 방법들에 비해 더 적은 로컬 경사 계산을 통해 강凸성과 미세한 조건에서 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we study decentralized empirical risk minimization problems, where the goal to minimize a finite-sum of smooth and strongly-convex functions available over a network of nodes. We propose extbf{ exttt{GT-SAGA}}, a stochastic first-order algorithm based on decentralized stochastic gradient tracking methods (GT) \cite{DSGT_Pu,DSGT_Xin} and a variance-reduction technique called SAGA \cite{SAGA}. We demonstrate various trade-offs and discuss scenarios in which extbf{ exttt{GT-SAGA}} achieves superior performance (in terms of the number of local gradient computations required) with respect to existing decentralized schemes.

연구 동기 및 목표

• 대규모 머신러닝을 위한 분산된 확률적 최적화에서 느린 수렴 문제를 해결한다.
• 분산된 경험 리스크 최소화에서 주어진 정확도에 도달하기 위해 필요한 로컬 경사 계산 수를 줄인다.
• 분산 감소와 경사 추적을 통합하여 기존의 분산 알고리즘을 향상시키고 수렴 속도를 가속화한다.
• 다양한 분산 최적화 설정에서 통신 및 계산 효율성 간의 상호 상충 관계를 분석한다.
• 최신 기술의 분산 기반 방법들과 비교해 GT-SAGA가 수렴 속도와 계산 효율성 면에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 경사 추적(GT)과 SAGA 분산 감소 기법을 통합한 새로운 분산된 1차 최적화 알고리즘인 GT-SAGA를 제안한다.
• 네트워크 전반에서 경사를 집계하는 추적 메커니즘을 사용해 글로벌 경사의 국소 추정치를 유지한다.
• 과거 경사의 누적 평균을 저장하고 갱신하여 SAGA 방법을 적용해 확률적 경사의 분산을 줄인다.
• 통신 오버헤드를 최소화하면서도 노드 간 경사 추정치를 동기화하기 위해 공약 기반 업데이트 규칙을 사용한다.
• 중앙 집중식 파rameter 서버나 조율 센터가 필요 없는 완전히 분산된 알고리즘으로 설계한다.
• 경사 추적의 안정성과 SAGA의 분산 감소 기법을 결합하여 부드럽고 강凸한 조건 하에서 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 SAGA의 분산 감소 기법과 경사 추적을 통합하면 분산된 확률적 최적화에서 수렴 속도가 향상되는가?
• RQ2 GT-SAGA의 경우 기존의 분산된 방법들에 비해 필요한 로컬 경사 계산 수는 어떻게 다른가?
• RQ3 분산 최적화에서 통신 비용과 로컬 계산 간의 상호 상충 관계는 무엇이며, GT-SAGA는 이를 어떻게 균형 잡는가?
• RQ4 어떤 설정에서 GT-SAGA가 기존의 분산 알고리즘보다 수렴 속도 면에서 뛰어나게 되는가?
• RQ5 다양한 네트워크 구조와 데이터 분포 조건에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• SAGA 기법을 통한 경사 분산 감소 덕분에 GT-SAGA는 기존의 분산된 방법들보다 더 빠른 수렴 속도를 달성한다.
• 주어진 정확도에 도달하기 위해 필요한 로컬 경사 계산 수가 적어져 뛰어난 계산 효율성을 보여준다.
• 부드럽고 강凸한 조건 하에서 GT-SAGA는 선형 수렴 속도를 유지하며 이론적 기대와 일치한다.
• 경사 추적과 SAGA의 통합은 기존의 기준 분산 확률적 경사 하강법에 비해 더 뛰어난 안정성과 더 빠른 수렴을 이끌어낸다.
• 국소 경사의 분산이 높은 상황에서도 GT-SAGA는 다른 분산 알고리즘보다 뛰어난 성능을 보인다.
• 다양한 네트워크 구조와 데이터 분포에 걸쳐 강인하게 작동하며 일관된 성능 향상을 보였다.