[논문 리뷰] Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization

Kun Yuan, Xinmeng Huang외 4명|arXiv (Cornell University)|2022. 10. 14.

Advanced Wireless Communication Technologies인용 수 5

한 줄 요약

이 논문은 일반적인 가중치 행렬을 가진 스무스하고 비볼록인 확률적 분산 최적화의 최적 수렴 속도를 확립하며, 연결성과 지름을 균형 있게 유지하기 위해 린-레코드 그래프를 활용한다. 이는 약간의 조건 하에 유도된 최적 속도에 거의 도달하는 새로운 알고리즘인 MG-DSGD를 제안하여, 네트워크 연결성과 노이즈에 대한 종속성 측면에서 이전의 경계를 향상시킨다.

ABSTRACT

Decentralized optimization is effective to save communication in large-scale machine learning. Although numerous algorithms have been proposed with theoretical guarantees and empirical successes, the performance limits in decentralized optimization, especially the influence of network topology and its associated weight matrix on the optimal convergence rate, have not been fully understood. While (Lu and Sa, 2021) have recently provided an optimal rate for non-convex stochastic decentralized optimization with weight matrices defined over linear graphs, the optimal rate with general weight matrices remains unclear. This paper revisits non-convex stochastic decentralized optimization and establishes an optimal convergence rate with general weight matrices. In addition, we also establish the optimal rate when non-convex loss functions further satisfy the Polyak-Lojasiewicz (PL) condition. Following existing lines of analysis in literature cannot achieve these results. Instead, we leverage the Ring-Lattice graph to admit general weight matrices while maintaining the optimal relation between the graph diameter and weight matrix connectivity. Lastly, we develop a new decentralized algorithm to nearly attain the above two optimal rates under additional mild conditions.

연구 동기 및 목표

• 비볼록 확률적 분산 최적화의 이론적 성능 한계를 명확히 하여, 네트워크 토폴로지와 가중치 행렬의 연결성이 미치는 영향을 규명하는 것.
• 이전 연구가 특정 $β$ 값에 대해 선형 그래프만 다루었기 때문에, 일반적인 가중치 행렬에 대한 최적 수렴 속도 이해의 격차를 메우는 것.
• 일반적인 가중치 행렬 하에서 유도된 최적 수렴 속도에 거의 도달하는 새로운 분산 알고리즘을 개발하는 것.
• 폴리악-로자이에프스키(PL) 조건 하에서 날카로운 수렴 경계를 확립하여, 비볼록 설정에서 기존 결과를 향상시키는 것.

제안 방법

• 저자들은 그래프의 지름과 가중치 행렬의 연결성 사이의 유리한 트레이드오���을 유지하기 위해 린-레코드 그래프 구조를 도입하여 일반적인 가중치 행렬을 가능하게 한다.
• 수렴 속도에 대한 하한을 유도하며, 이는 $n$, $T$, $σ^2$, 및 $β$ 에 의존하며, 로그 인자 외에는 정확히 타이트하다는 것을 보여준다.
• 모멘텀과 기울기 누적 기법을 통합하여 PL 조건 하에서 수렴을 향상시키는 새로운 알고리즘인 MG-DSGD를 제안한다.
• 표준 노이즈 및 연결성 항목을 알고리즘 동역학에서의 효과적 노이즈 $\tilde{\sigma}^2$ 와 효과적 연결성 $\tilde{\beta}$ 로 대체하여 분석을 정교화한다.
• 모멘텀, 분산, 네트워크 연결성 간의 상호작용을 고려한 수정된 분석 프레임워크를 사용하여 이론적 수렴 경계를 도출한다.
• 알고리즘의 수렴은 $T$, $n$, $\sigma^2$, 및 $\beta$ 에서 하한과 일치하며, $L$ 과 $\mu$ 의 의존성에서만 작은 격차가 존재한다.

실험 결과

연구 질문

• RQ1 일반적인 가중치 행렬을 가진 스무스하고 비볼록인 확률적 분산 최적화의 최적 수렴 속도는 무엇인가?
• RQ2 네트워크 연결성 측정치인 $\beta$ 는 분산 확률 최적화에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 일반적인 가중치 행렬 하에서 분산 알고리즘이 유도된 최적 수렴 속도에 거의 도달할 수 있는가?
• RQ4 폴리악-로자이에프스키(PL) 조건은 분산 비볼록 설정에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 모멘텀과 기울기 누적은 분산 비볼록 최적화에서 수렴에 어떻게 영향을 미치는가?

주요 결과

• 논문은 비볼록 확률적 분산 최적화에 대해 하한을 $\Omega\left(\frac{\sigma}{\sqrt{nT}} + \frac{1}{T(1-\beta)^{1/2}}\right)$ 으로 확립하였으며, 이는 로그 인자 외에는 정확히 타이트하다.
• PL 조건 하에서 상한은 $\tilde{\mathcal{O}}\left(\frac{\sigma^2 L}{\mu^2 n T} + \Delta \exp\left(-\frac{\mu \sqrt{1-\beta} T}{L}\right)\right)$ 이며, $T$, $n$, $\sigma^2$, 및 $\beta$ 에서 하한과 일치한다.
• 제안된 MG-DSGD 알고리즘은 거의 최적 속도에 도달하며, 수렴 경계는 $\tilde{\mathcal{O}}\left(\frac{\sigma^2 L}{\mu^2 n T} + \Delta \exp\left(-\frac{\mu \sqrt{1-\beta} T}{L}\right)\right)$ 이다.
• 분석 결과, 효과적 노이즈 $\tilde{\sigma}^2$ 와 효과적 연결성 $\etilde{\beta}$ 가 특히 모멘텀 하에서 날카로운 수렴 속도를 달성하는 데 핵심적인 역할을 한다.
• 실험 결과, MG-DSGD는 CIFAR-10과 ImageNet에서 DeTAG 및 DSGT와 같은 기준 모델보다 약간 높은 검증 정확도를 달성하며, 특히 비균일한 데이터 하에서 유의미한 성능 향상을 보였다.
• 기울기 누적은 더 높은 라운드 수에서 성능 저하를 유도하여 최적화 속도와 일반화 간의 상충 관계를 시사한다.