[논문 리뷰] A Push-Pull Gradient Method for Distributed Optimization in Networks

Shi Pu, Wei Shi외 2명|arXiv (Cornell University)|2018. 03. 20.

Distributed Control Multi-Agent Systems참고 문헌 42인용 수 21

한 줄 요약

이 논문은 네트워크 내 분산 최적화를 위한 새로운 푸시-풀 기반 경사하강법을 제안한다. 각 에이전트는 이웃에게 전달하는 최적의 결정 변수 추정치와 이웃으로부터 수신하는 평균 경사도 추정치를 유지한다. 이 방법은 방향성 고정 네트워크에서 강凸성과 미분 가능성 조건을 만족하는 함수에 대해 선형 수렴성을 확보하며, 시간에 따라 변화하는 네트워크 구조에 대해서도 안정적으로 작동한다. 또한 기존 방법들에 비해 수치적 안정성과 확장성 면에서 뛰어나다.

ABSTRACT

In this paper, we focus on solving a distributed convex optimization problem in a network, where each agent has its own convex cost function and the goal is to minimize the sum of the agents' cost functions while obeying the network connectivity structure. In order to minimize the sum of the cost functions, we consider a new distributed gradient-based method where each node maintains two estimates, namely, an estimate of the optimal decision variable and an estimate of the gradient for the average of the agents' objective functions. From the viewpoint of an agent, the information about the decision variable is pushed to the neighbors, while the information about the gradients is pulled from the neighbors (hence giving the name "push-pull gradient method"). The method unifies the algorithms with different types of distributed architecture, including decentralized (peer-to-peer), centralized (master-slave), and semi-centralized (leader-follower) architecture. We show that the algorithm converges linearly for strongly convex and smooth objective functions over a directed static network. In our numerical test, the algorithm performs well even for time-varying directed networks.

연구 동기 및 목표

• 에이전트들이 국소 목적 함수를 가지며 국소 통신을 통해 협업해야 하는 네트워크에서의 분산 볼록 최적화 문제를 다루기 위해.
• 탈중앙화, 중심화, 반중심화 네트워크 아키텍처 전반에서 작동하는 통합 알고리즘 설계를 위해.
• 이중 스토하스틱 혼합 행렬이 필요 없이도, 방향성 고정 네트워크에서 강凸성과 미분 가능성을 만족하는 목적 함수에 대해 선형 수렴성을 달성하기 위해.
• 특히 대규모 또는 시간에 따라 변화하는 네트워크에서, 기존의 푸시-섬 기반 방법들에 비해 수치적 안정성과 확장성 향상을 위해.
• 시간에 따라 변화하는 방향성 그래프로의 확장을 통해 수렴성과 안정성을 유지하기 위해.

제안 방법

• 각 에이전트는 최적의 결정 변수(𝑥)에 대한 추정치와 평균 경사도(𝑦)에 대한 추정치를 유지하며, 각각 푸시 및 풀링 동작을 통해 업데이트된다.
• 𝑥 업데이트는 행 스토하스틱 혼합 행렬을 사용하여 이웃에게 결정 변수 추정치를 푸시 동작을 통해 전파한다.
• 𝑦 업데이트는 열 스토하스틱 혼합 행렬을 사용하여 이웃으로부터의 경사도 추정치를 풀링 동작을 통해 집계한다.
• 알고리즘은 결정 변수에 대한 공감대 형성과 평균 경사도 추적을 결합한 경사도 추적 방법으로 수식화된다.
• 이전 알고리즘들인 Push-DIGing과 달리, 시간에 따라 변화하거나 대규모 네트워크에서 성능이 열 劣하게 영향을 받는 나눗셈 연산을 피하므로, 대규모 또는 시간에 따라 변화하는 환경에서 더 뛰어난 내구성을 확보한다.
• 랜덤한 링크 활성화를 사용하여 시간에 따라 변화하는 방향성 그래프로의 확장을 도모하며, 약한 연결성 조건 하에서도 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 이중 스토하스틱 가중치가 필요 없이도, 방향성 고정 네트워크에서 선형 수렴성을 달성할 수 있는가?
• RQ2 통합 알고리즘이 탈중앙화, 중심화, 반중심화 아키텍처를 모두 지원할 수 있는가?
• RQ3 다른 스토하스틱 행렬을 사용한 푸시 및 풀링 동작이 수렴성과 수치적 안정성에 미치는 영향는 어떠한가?
• RQ4 시간에 따라 변화하는 방향성 통신 그래프에서 알고리즘이 어떻게 작동하는가? 특히 그래프의 합집합이 강하게 연결되어 있지 않은 경우에도 마찬가지로 성능을 유지할 수 있는가?
• RQ5 시간에 따라 변화하는 설정에서 작은 분모로 인해 발생하는 수치적 불안정성 문제를 피할 수 있는가? (예: Push-DIGing의 문제점)

주요 결과

• 푸시-풀 기반 경사하강법은 방향성 고정 네트워크에서 강凸성과 미분 가능성을 만족하는 목적 함수에 대해 선형 수렴성을 확보하며, 이 수렴 속도는 조건수에 따라 달라진다.
• 이 알고리즘은 Push-DIGing과 달리 나눗셈 연산을 피함으로써, 시간에 따라 변화하거나 대규모 네트워크에서 성능이 열 劣하게 영향을 받는 문제를 피하므로, 수치적으로 안정적이다. 특히 Push-DIGing은 분모 크기가 Ω(n^(-Bn)) 수준으로 증가하여 문제가 발생한다.
• 시뮬레이션 결과, 정적 및 시간에 따라 변화하는 방향성 그래프 모두에서 뛰어난 성능을 보였으며, 잔차 곡선에서 피크가 발생하는 Push-DIGing에 비해 더 빠르고 안정적인 수렴을 보였다.
• 리더-팔로워 아키텍처에서도 안정적으로 작동하며, 활성 그래프의 합집합이 강하게 연결되어 있지 않은 경우에도 수렴 가능하지만, 완전히 연결된 설정보다 수렴 속도는 느리다.
• 노드당 저장 및 통신 복잡도는 O(p)로, 대규모 네트워크(n ≫ p)에서도 확장 가능하다. 반면 Xi-row는 O(n + p)의 복잡도를 가지므로 성능에 열 劣하다.
• 스텝 사이즈에 대한 이론적 상한은 네트워크 크기와 함께 악화되지 않으며, 이는 대규모 또는 동적 네트워크에서 신뢰할 수 있는 성능을 유지할 수 있음을 의미한다. 이는 Push-DIGing과는 대조적이다.