[논문 리뷰] Achieving Geometric Convergence for Distributed Optimization over Time-Varying Graphs

Angelia Nedich, Alex Olshevsky외 1명|arXiv (Cornell University)|2016. 07. 12.

Distributed Control Multi-Agent Systems인용 수 31

한 줄 요약

이 논문은 고정 단계 크기와 기울기 추적을 사용하여 시간에 따라 변하는 무방향 및 유방향 그래프에서 각각 R-선형(기하학적) 수렴을 달성하는 분산 최적화 알고리즘인 DIGing과 Push-DIGing을 제안한다. 주요 기여는 강한 볼록성 하에서 시간에 따라 변하는 그래프 구조조차도 기하학적 수렴을 보장할 수 있음을 증명한 것으로, 특히 유방향 그래프에서는 이중 스트로스틱 행렬을 요구하지 않으며 푸시-섬(_PUSH-SUM) 적응 기법을 통해 달성된다.

ABSTRACT

This paper considers the problem of distributed optimization over time-varying graphs. For the case of undirected graphs, we introduce a distributed algorithm, referred to as DIGing, based on a combination of a distributed inexact gradient method and a gradient tracking technique. The DIGing algorithm uses doubly stochastic mixing matrices and employs fixed step-sizes and, yet, drives all the agents' iterates to a global and consensual minimizer. When the graphs are directed, in which case the implementation of doubly stochastic mixing matrices is unrealistic, we construct an algorithm that incorporates the push-sum protocol into the DIGing structure, thus obtaining Push-DIGing algorithm. The Push-DIGing uses column stochastic matrices and fixed step-sizes, but it still converges to a global and consensual minimizer. Under the strong convexity assumption, we prove that the algorithms converge at R-linear (geometric) rates as long as the step-sizes do not exceed some upper bounds. We establish explicit estimates for the convergence rates. When the graph is undirected it shows that DIGing scales polynomially in the number of agents. We also provide some numerical experiments to demonstrate the efficacy of the proposed algorithms and to validate our theoretical findings.

연구 동기 및 목표

• 시간에 따라 변하는 통신 그래프, 무방향 및 유방향 모두에서 기하학적 수렴을 달성하는 분산 최적화 알고리즘을 개발하는 것.
• 유방향 그래프에서 이중 스트로스틱 혼합 행렬이 필요로 하지 않는 고정 단계 크기 방법이 선형 수렴하도록 보장하는 것.
• 강한 볼록성 하에서 명시적인 수렴 속도 상한을 제공하여 이전 연구에서의 비선형 또는 Q-선형 수렴 속도를 향상시키는 것.
• 시간에 따라 변하는 무방향 및 유방향 그래프에서의 수치 실험을 통해 이론적 결과를 검증하는 것.
• 분산 최적화의 적용 가능성을 그래프의 구조에 대한 최소한의 가정으로 동적인 네트워크 구조로 확장하는 것.

제안 방법

• 무방향 그래프에 대해 분산 근사 기울기 방법과 기울기 추적, 이중 스트로스틱 혼합 행렬을 조합한 DIGing을 도입한다.
• 고정 단계 크기를 사용하여 시간에 따라 변하는 연결성에도 불구하고 모든 에이전트가 전역적이고 일관된 최소화점을 수렴하도록 보장한다.
• 푸시-섬 프로토콜을 DIGing 프레임워크에 통합하여 유방향 그래프에 적합한 Push-DIGing을 구축한다. 이는 열 스트로스틱 행렬을 유지하면서 수렴성을 확보한다.
• 소형 이득 정리(소형 이득 정리)를 적용하여 강한 볼록성 하에서 R-선형 수렴을 확립하고, 단계 크기의 명시적 상한을 유도한다.
• 무방향 그래프에서는 메트로폴리스 가중치를 사용하여 혼합 행렬을 구성하고, 유방향 그래프에서는 푸시-섬 호환성을 확보하기 위해 출력 차수 기반 가중치를 사용한다.
• 무방향 케이스에서 에이전트 수에 대해 다항식적으로 증가하는 수렴 속도 추정치를 유도한다.

실험 결과

연구 질문

• RQ1 고정 단계 크기를 사용하여 시간에 따라 변하는 무방향 그래프에서 분산 최적화 알고리즘이 R-선형 수렴을 달성할 수 있는가?
• RQ2 이중 스트로스틱 행렬이 비현실적인 유방향 그래프에서 어떻게 기하학적 수렴을 달성할 수 있는가?
• RQ3 시간에 따라 변하는 설정에서 기하학적 수렴을 보장하기 위한 단계 크기의 명시적 상한은 무엇인가?
• RQ4 무방향 시간에 따라 변하는 네트워크에서 수렴 속도는 에이전트 수에 따라 어떻게 변화하는가?
• RQ5 제안된 알고리즘이 푸시-기울기 또는 EXTRA와 같은 기존 방법보다 수렴 속도와 통신 비용 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• DIGing은 고정 단계 크기와 이중 스트로스틱 혼합 행렬을 사용하여 시간에 따라 변하는 무방향 그래프에서 R-선형 수렴을 달성한다. 전역 네트워크 지식이 없더라도 가능하다.
• Push-DIGing은 열 스트로스틱 행렬과 푸시-섬 프로토콜을 사용하여 시간에 따라 변하는 유방향 그래프에서 기하학적 수렴을 보장하며, 그래프 균형 조정이 필요 없도록 한다.
• 수렴 속도는 명시적으로 상한이 있으며, 강한 볼록성 및 리프시츠 기울기 상수에 따라 달라지며, 단계 크기는 유도된 상한 이하로 제한되어야 한다.
• 수치 실험 결과, DIGing과 그 변종은 R-선형 수렴 속도를 보이며, 푸시-기울기의 경우 강한 볼록성 조건 하에서도 비선형 수렴을 보임을 확인했다.
• DIGing-ATC는 반복 횟수 측면에서 DIGing보다 더 빠르게 수렴하지만, 각 반복당 통신 비용이 더 높다. 반면 Push-DIGing은 DIGing-ATC와 유사한 수렴 속도를 달성하면서도 반복당 통신 비용을 절반으로 줄였다.
• EXTRA와 DIGing은 동일한 단계 크기 하에서 거의 동일한 수렴 곡선을 보이며, 이는 무방향 그래프에서 이론적으로 동일한 성능을 가짐을 검증한다.