[논문 리뷰] On the Convergence of Nested Decentralized Gradient Methods with Multiple Consensus and Gradient Steps

Albert S. Berahas, Raghu Bollapragada외 1명|arXiv (Cornell University)|2020. 05. 31.

Distributed Control Multi-Agent Systems참고 문헌 67인용 수 13

한 줄 요약

이 논문은 분산 최적화에서 반복마다 다수의 그래디언트 및 공감 단계를 허용하도록 NEAR-DGD 알고리즘을 일반화한다. 고정된 스텝 사이즈를 사용할 때 감소하는 그래디언트 단계 수와 증가하는 공감 단계 수를 사용함으로써 정확한 해로의 R-선형 수렴을 증명하며, 페더레이티드 러닝에서의 다중 로컬 스텝 방법에 대한 이론적 근거를 제공하고 비용 인식 알고리즘 설계를 가능하게 한다.

ABSTRACT

In this paper, we consider minimizing a sum of local convex objective functions in a distributed setting, where the cost of communication and/or computation can be expensive. We extend and generalize the analysis for a class of nested gradient-based distributed algorithms (NEAR-DGD; Berahas, Bollapragada, Keskar and Wei, 2018) to account for multiple gradient steps at every iteration. We show the effect of performing multiple gradient steps on the rate of convergence and on the size of the neighborhood of convergence, and prove R-Linear convergence to the exact solution with a fixed number of gradient steps and increasing number of consensus steps. We test the performance of the generalized method on quadratic functions and show the effect of multiple consensus and gradient steps in terms of iterations, number of gradient evaluations, number of communications and cost.

연구 동기 및 목표

• 반복마다 다수의 그래디언트 스텝을 수행하는 분산 알고리즘의 수렴 분석 부족을 보완한다.
• 분산 최적화에서 수렴 속도, 이웃 크기, 통신/계산 비용 간의 상호 상관 관계를 조사한다.
• 페더레이티드 러닝에서 다수의 로컬 그래디언트 스텝이 널리 사용되는 데 대한 이론적 근거를 제공한다.
• 응용 분야의 비용 구조에 맞게 공감 및 그래디언트 스텝을 유연하게 조정할 수 있는 프레임워크를 개발한다.
• 고정된 스텝 사이즈와 동적 스텝 수를 가질 때 정확한 해로의 R-선형 수렴이 이루어지는 조건을 설정한다.

제안 방법

• 각 반복에서 tc(k)개의 공감 단계와 tg(k)개의 그래디언트 단계를 수행하는 일반화된 내장 알고리즘인 NEAR-DGDtc,tg를 제안한다.
• 네트워크 전반에서 국소 변수 간의 일치를 보장하기 위해 공감 연산자 W⊗Ip를 사용한다.
• 국소 그래디언트를 사용하여 국소 변수를 갱신하기 위해 그래디언트 연산자 T[x] = x − α∇f(x)를 활용한다.
• 시간이 지남에 따라 공감 단계 수는 증가하고 그래디언트 단계 수는 감소하는 프레임워크를 도입하여 정확한 수렴을 가능하게 한다.
• 리아파노프 함수를 사용하고 공감 행렬 W의 두 번째로 큰 고유값 β에 대한 경계를 분석하여 수렴성을 분석한다.
• 강력한 볼록성 조건과 고정된 스텝 사이즈 하에서 알고리즘이 정확한 해로 R-선형 수렴을 달성할 수 있는 조건을 유도한다.

실험 결과

연구 질문

• RQ1 반복마다 다수의 그래디언트 스텝을 수행할 경우 분산 그래디언트 방법의 수렴 속도와 이웃 크기에 어떤 영향을 미치는가?
• RQ2 다수의 그래디언트 스텝을 사용할 때 고정된 스텝 사이즈 하에서 정확한 해로의 R-선형 수렴을 달성할 수 있는가?
• RQ3 공감 및 그래디언트 스텝 수를 다양하게 조절할 경우 전체 최적화 비용(반복 수, 통신 횟수, 그래디언트 평가 수)에 어떤 영향을 미치는가?
• RQ4 어떤 조건에서 알고리즘이 해의 이웃으로 수렴하는 것이 아니라 정확한 해로 수렴하는가?
• RQ5 실제 응용에서 계산이 비쌀 경우와 통신이 비쌀 경우 등 다양한 비용 구조에 어떻게 알고리즘을 적응시킬 수 있는가?

주요 결과

• 반복당 그래디언트 단계 수가 감소하고 공감 단계 수가 증가할 경우, 방법이 정확한 해로 R-선형 수렴을 달성한다.
• 다수의 그래디언트 스텝은 初기 수렴 속도를 크게 향상시키며, 이는 2차 문제에서의 실험적 검증으로 입증되었다.
• 고정된 수의 공감 단계를 사용하는 방법은 해의 이웃으로 수렴할 뿐이며, 증가하는 공감 단계 수를 통해 정확한 수렴이 가능하다.
• 실제 적용에서 가장 우수한 성능을 보인 실용적 변형인 NEAR-DGD+((1,−),(1,k))는 그래디언트 계산이 비쌀 경우(예: cg = 100, cc = 1)에 표준 DGD 대비 비용을 최대 100배까지 감소시킨다.
• 통신이 비쌀 경우(예: cc = 100, cg = 1), 표준 DGD 및 NEAR-DGD((1,−),(1,−)) 방법이 다중 그래디언트 스텝 변형보다 우수한 성능을 보였다.
• 이론적 분석은 정확한 수렴이 1개를 초과하는 고정된 수의 그래디언트 스텝으로는 달성될 수 없음을 확인하였으며, 최근 페더레이티드 러닝 연구 결과와 일치한다.