[논문 리뷰] A Primal-Dual SGD Algorithm for Distributed Nonconvex Optimization

Xinlei Yi, Shengjun Zhang외 3명|arXiv (Cornell University)|2020. 06. 04.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 임의로 연결된 네트워크에서 비볼록 최적화를 위한 분산 원본-이중 확률적 경사 하강법(SGD) 알고리즘을 제안한다. 이 알고리즘은 국소 정보 교환과 확률적 경사 정보를 활용하며, 일반적인 비볼록 함수에 대해 $\mathcal{O}(1/\sqrt{nT})$의 선형 속도 향상 수렴 속도를 달성하고, Polyak–Łojasiewicz 조건을 만족할 경우 $\mathcal{O}(1/(nT))$의 속도를 보이며, 일정한 파rameter를 사용해 전역 최적해의 이웃으로 선형 수렴을 달성한다.

ABSTRACT

The distributed nonconvex optimization problem of minimizing a global cost function formed by a sum of $n$ local cost functions by using local information exchange is considered. This problem is an important component of many machine learning techniques with data parallelism, such as deep learning and federated learning. We propose a distributed primal--dual stochastic gradient descent (SGD) algorithm, suitable for arbitrarily connected communication networks and any smooth (possibly nonconvex) cost functions. We show that the proposed algorithm achieves the linear speedup convergence rate $\mathcal{O}(1/\sqrt{nT})$ for general nonconvex cost functions and the linear speedup convergence rate $\mathcal{O}(1/(nT))$ when the global cost function satisfies the Polyak--Łojasiewicz (P--Ł) condition, where $T$ is the total number of iterations. We also show that the output of the proposed algorithm with constant parameters linearly converges to a neighborhood of a global optimum. We demonstrate through numerical experiments the efficiency of our algorithm in comparison with the baseline centralized SGD and recently proposed distributed SGD algorithms.

연구 동기 및 목표

• 자신의 데이터가 에이전트들 간에 분할되어 있고, 통신이 제한된 환경에서의 분산 비볼록 최적화 문제를 해결하기 위해, 페더레이티드 러닝 및 딥 러닝과 같은 머신 러닝 환경을 대상으로 한다.
• 스타 구조의 마스터/워커 토폴로지에서 발생하는 병목 현상을 피하기 위해, 임의로 연결된 통신 네트워크에서 작동하는 분산 SGD 알고리즘을 개발한다.
• 일반적인 비볼록 함수와 Polyak–Łojasiewicz(P–Ł) 조건을 만족하는 함수에 대해 선형 속도 향상 수렴 보장을 수립한다.
• 이전의 분산 SGD 방법에서 흔히 요구되던 경사의 유계성 등의 제약 조건을 제거한다.

제안 방법

• 알고리즘은 비방향 통신 그래프에서 각 에이전트가 원본 변수와 이중 변수의 국소 추정치를 유지함으로써 에이전트 간의 협력을 위한 원본-이중 공식을 사용한다.
• 각 에이전트는 국소 목적 함수의 확률적 경사를 계산하고, 공통의 업데이트 규칙을 사용해 이웃과 정보를 교환한다.
• 수렴 분석을 위해 리아푸노프 함수를 도입하여 원본 오차와 이중 오차 항을 결합하여 최적성 향한 진전을 추적한다.
• 단계 크기 스케줄과 일정한 파rameter를 사용하여 전역 최적해의 이웃으로 선형 수렴을 달성한다.
• P–Ł 조건을 통합하여 더 약한 가정 조건 하에서도 향상된 수렴 속도를 도출한다.
• 알고리즘은 통신 효율성이 뛰어나고, 임의의 네트워크 토폴로지에 걸쳐 확장 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 제약 조건이 없는 경사의 유계성 또는 경사 차이의 유계성 조건이 없이도, 분산 원본-이중 SGD 알고리즘이 비볼록 최적화에서 선형 속도 향상 수렴 성능을 달성할 수 있는가?
• RQ2 일정한 단계 크기를 사용할 경우, 알고리즘이 전역 최적해의 이웃으로 선형 수렴을 유지하는가?
• RQ3 분산 환경에서 Polyak–Łojasiewicz 조건을 만족할 경우, 수렴 속도를 $\mathcal{O}(1/(nT))$로 향상시킬 수 있는가?
• RQ4 수렴 속도와 안정성 측면에서, 중심화된 SGD 및 기타 분산 SGD 변종과 비교해 볼 때 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 일반적인 비볼록 목적 함수에 대해 $\mathcal{O}(1/\sqrt{nT})$의 선형 속도 향상 수렴 속도를 달성하며, 이는 중심화된 SGD에서 확보된 최고 수준의 성능과 일치한다.
• Polyak–Łojasiewicz(P–Ł) 조건을 만족할 경우, 수렴 속도는 $\mathcal{O}(1/(nT))$로 향상되어 $n$과 $T$에 대해 더 빠른 수렴을 보인다.
• 일정한 파arameter를 사용할 경우, 알고리즘은 전역 최적해의 이웃으로 선형 수렴을 달성하며, 이는 표준 SGD의 하위선형 수렴과 비교해 큰 향상이다.
• 수치 실험 결과는 알고리즘이 기준 중심화된 SGD 및 최근의 분산 SGD 방법들보다 수렴 속도와 안정성 측면에서 뛰어나다는 것을 확인한다.
• 이론적 분석은 최소한의 가정 조건 하에서도 성립하며, 국소 목적 함수의 부드러움만 요구하고, 경사의 유계성 제약 조건이 없어도 된다.
• 알고리즘은 스타 그래프와 일반적인 비방향 그래프를 포함한 임의의 통신 네트워크 토폴로지에서 안정적으로 작동한다.