[논문 리뷰] AB/Push-Pull Method for Distributed Optimization in Time-Varying Directed Networks

Angelia Nedich, Duong Thuy Anh Nguyen외 1명|arXiv (Cornell University)|2022. 09. 14.

Distributed Control Multi-Agent Systems인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 방향성 네트워크에서 분산 최적화를 위한 AB/푸시-풀 방법을 제안한다. 행과 열 양방향으로 스 tochastic인 혼합 행렬을 사용하여 최적의 결정과 평균 기울기를 추적한다. 그래프의 지름, 비용 함수의 성질, 행렬의 연결성에 기반한 명시적인 스텝 사이즈 상한을 도출하여 선형 수렴성을 확립한다. 이는 이전 연구에 비해 수축 매개변수를 네트워크 구조와 직접적으로 연결함으로써 향상된 결과이다.

ABSTRACT

In this paper, we study the distributed optimization problem for a system of agents embedded in time-varying directed communication networks. Each agent has its own cost function and agents cooperate to determine the global decision that minimizes the summation of all individual cost functions. We consider the so-called push-pull gradient-based algorithm (termed as AB/Push-Pull) which employs both row- and column-stochastic weights simultaneously to track the optimal decision and the gradient of the global cost while ensuring consensus and optimality. We show that the algorithm converges linearly to the optimal solution over a time-varying directed network for a constant stepsize when the agent's cost function is smooth and strongly convex. The linear convergence of the method has been shown in Saadatniaki et al. (2020), where the multi-step consensus contraction parameters for row- and column-stochastic mixing matrices are not directly related to the underlying graph structure, and the explicit range for the stepsize value is not provided. With respect to Saadatniaki et al. (2020), the novelty of this work is twofold: (1) we establish the one-step consensus contraction for both row- and column-stochastic mixing matrices with the contraction parameters given explicitly in terms of the graph diameter and other graph properties; and (2) we provide explicit upper bounds for the stepsize value in terms of the properties of the cost functions, the mixing matrices, and the graph connectivity structure.

연구 동기 및 목표

• 에이전트들이 국소 비용 함수를 가지며 그 합을 공동으로 최소화해야 하는 시간에 따라 변화하는 방향성 네트워크에서의 분산 최적화 문제를 다루기 위해.
• glat 및 강력 볼록 비용 함수 하에서 선형 수렴을 보장하는 기울기 기반 방법을 개발하기 위해.
• AB/푸시-풀 알고리즘의 스텝 사이즈에 대해 그래프 구조에 따라 의존하는 명시적인 상한을 제공하기 위해.
• 네트워크 지름과 연결성 지표를 사용하여 행과 열 양방향으로 스 tochastic인 행렬에 대한 한 단계 수렴 수축 성질을 수립하기 위해.
• 기존의 정적 방향성 그래프에서의 AB/푸시-풀 수렴 결과를 더 강력한 분석적 보장을 갖추고 시간에 따라 변화하는 방향성 그래프로 확장하기 위해.

제안 방법

• 이 방법은 두 개의 별도한 혼합 행렬을 사용한다: 결정 추정치를 푸시하기 위한 행 스 tochastic 행렬과 기울기 정보를 풀기 위한 열 스 tochastic 행렬.
• 각 에이전트는 최적의 결정 변수와 국소 비용 함수의 평균 기울기의 두 가지 추정치를 유지한다.
• 알고리즘은 푸시-풀 방식으로 작동한다: 결정은 행 스 tochastic 행렬을 통해 푸시되고, 기울기는 열 스 tochastic 행렬을 통해 풀린다.
• 수렴 성질은 그래프 지름과 연결성 구조를 사용하여 유도되며, 두 추정치에 대한 한 단계 수렴을 보장한다.
• 수렴 분석은 알고리즘 동역학에서 유도된 시스템 행렬의 스펙트럼 반경을 유계로 제한하는 데 기반한다.
• 리프시츠 상수, 강력 볼록성 매개변수, 혼합 행렬 성질을 포함하는 부등식계를 풀어 명시적인 스텝 사이즈 상한을 도출한다.

실험 결과

연구 질문

• RQ1 AB/푸시-풀 방법은 부드럽고 강력 볼록 비용 함수를 가진 시간에 따라 변화하는 방향성 네트워크에서 선형 수렴을 달성할 수 있는가?
• RQ2 수렴을 보장하기 위해 스텝 사이즈를 네트워크 구조와 함수 성질에 따라 명시적으로 어떻게 상한을 둘 수 있는가?
• RQ3 혼합 행렬의 수축 매개변수와 기저가 되는 그래프의 지름 및 연결성 간의 관계는 무엇인가?
• RQ4 불균형하고 조건이 나쁜 네트워크에서 이 방법은 Push-DIGing과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ5 균일한 강력 연결성 대신 주기적인 강력 연결성을 갖는 네트워크로 이 방법을 확장할 수 있는가?

주요 결과

• AB/푸시-풀 방법은 시간에 따라 변화하는 방향성 네트워크에서 부드럽고 강력 볼록 비용 함수에 대해 전역 최소화점으로 선형 수렴을 달성한다.
• 행과 열 양방향으로 스 tochastic인 행렬에 대한 수축 매개변수는 그래프 지름 및 기타 구조적 성질과 명시적으로 연결되어 있다.
• 리프시츠 상수, 강력 볼록성 매개변수, 혼합 행렬 성질에 따라 의존하는 명시적인 스텝 사이즈 상한이 유도되었다.
• 불균형한 네트워크와 조건이 나쁜 문제에서 Push-DIGing보다 수렴 속도가 더 빠르며, 더 큰 허용 가능한 스텝 사이즈 덕분이다.
• 수렴 분석은 C-강력 연결 그래프 시퀀스 하에서도 성립하여 적용 가능성을 주기적인 네트워크 연결성으로 확장한다.
• 스텝 사이즈가 유도된 명시적 범위 내에 선택될 경우 시스템 행렬의 스펙트럼 반경은 1 미만으로 유계로 유지되며, 이는 선형 수렴을 보장한다.