[논문 리뷰] On the Distributed Optimization over Directed Networks

Chenguang Xi, Qiong Wu외 1명|arXiv (Cornell University)|2015. 10. 07.

Distributed Control Multi-Agent Systems참고 문헌 28인용 수 6

한 줄 요약

이 논문은 이중으로 스토하스틱인 가중치 행렬을 분산 방식으로 구성할 수 없는 방향성 그래프를 위한 새로운 분산 최적화 알고리즘인 Directed-Distributed Gradient Descent (D-DGD)을 제안한다. 보조 변수를 도입하여 상태 업데이트를 추적함으로써, 동시에 행 스토하스틱이자 열 스토하스틱인 가중치 행렬을 유지함으로써 공감대 형성과 최적성 확보를 동시에 달성한다. 이 방법은 $O(\frac{\ln k}{\sqrt{k}})$의 수렴 속도를 달성하며, 비선형 푸시-섬 방법과 동일한 최상의 성능을 보이지만 나눗셈 연산이 없는 선형 반복만을 사용한다.

ABSTRACT

In this paper, we propose a distributed algorithm, called Directed-Distributed Gradient Descent (D-DGD), to solve multi-agent optimization problems over directed graphs. Existing algorithms mostly deal with similar problems under the assumption of undirected networks, i.e., requiring the weight matrices to be doubly-stochastic. The row-stochasticity of the weight matrix guarantees that all agents reach consensus, while the column-stochasticity ensures that each agent's local gradient contributes equally to the global objective. In a directed graph, however, it may not be possible to construct a doubly-stochastic weight matrix in a distributed manner. We overcome this difficulty by augmenting an additional variable for each agent to record the change in the state evolution. In each iteration, the algorithm simultaneously constructs a row-stochastic matrix and a column-stochastic matrix instead of only a doubly-stochastic matrix. The convergence of the new weight matrix, depending on the row-stochastic and column-stochastic matrices, ensures agents to reach both consensus and optimality. The analysis shows that the proposed algorithm converges at a rate of $O(\frac{\ln k}{\sqrt{k}})$, where $k$ is the number of iterations.

연구 동기 및 목표

• 이중 스토하스틱 가중치 행렬에 의존하는 기존 방법들에 비해, 이중 스토하스틱 행렬을 분산 방식으로 구성할 수 없는 다중 에이전트 최적화를 위한 분산 알고리즘이 부족한 문제를 해결한다.
• 방향성 그래프에서 이중 스토하스틱 행렬을 분산 방식으로 구성할 수 없는 문제에 대응한다.
• 이중 스토하스틱 행렬을 사용하지 않고도, 방향성 네트워크에서 분산 경사하강법을 통해 공감대 형성과 최적성 확보를 동시에 달성한다.
• 이전의 푸시-섬 기반 접근 방식과 달리 나눗셈과 같은 비선형 연산을 피하는 선형 반복 기반 방법을 개발한다.
• 제안된 알고리즘에 대한 이론적 수렴 보증과 수렴 속도 분석을 수립한다.

제안 방법

• 각 에이전트 $i$에서 누적 상태 업데이트를 추적하기 위해 보조 변수 $\mathbf{y}_i^k$를 도입함으로써, 행 스토하스틱성과 열 스토하스틱성을 별도로 처리할 수 있도록 한다.
• 각 반복에서 두 개의 가중치 행렬을 구성한다: 에이전트 간의 공감대 형성을 보장하기 위한 행 스토하스틱 행렬 $M$과 각 에이전트의 기울기 기여도를 동일하게 유지하기 위한 열 스토하스틱 행렬 $W$.
• 선형 반복을 사용한다: $\mathbf{x}_i^{k+1} = \sum_{j \in \mathcal{N}_i^\text{in}} M_{ij} \mathbf{x}_j^k - \alpha \nabla f_i(\mathbf{x}_i^k) + \mathbf{y}_i^k$, 및 $\mathbf{y}_i^{k+1} = \mathbf{y}_i^k + \mathbf{x}_i^{k+1} - \sum_{j \in \mathcal{N}_i^\text{in}} M_{ij} \mathbf{x}_j^k$.
• 가중치 행렬 $M$과 $W$로 구성된 병합된 가중치 행렬이 공감대 형성과 기울기 기여도 균형을 유지하도록 하여 전역 최적해로의 수렴을 보장한다.
• 이중 스토하스틱 행렬에 의존하지 않고, 가중치 행렬의 왼쪽 고유벡터를 활용하여 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 이중 스토하스틱 행렬을 구성할 수 없는 방향성 네트워크에서 분산 경사하강법이 전역 최적해로 수렴할 수 있는가?
• RQ2 무작위 통신 토폴로지 가정 없이, 방향성 그래프에서 공감대 형성과 기울기 기여도 균형을 동시에 달성할 수 있는가?
• RQ3 나눗셈과 같은 비선형 연산을 피하는 선형 반복만을 사용하는 분산 알고리즘의 수렴 속도는 무엇인가?
• RQ4 제안된 D-DGD의 성능은 기존의 푸시-섬 기반 알고리즘과 비교해 수렴 속도와 안정성 측면에서 어떻게 다른가?
• RQ5 일반적인 강한 연결된 방향성 그래프 토폴로지에서 상태 변수와 보조 변수의 수렴성을 이론적으로 증명할 수 있는가?

주요 결과

• D-DGD 알고리즘은 보조 상태 추적을 통해 방향성 네트워크에서 행 스토하스틱이자 열 스토하스틱인 가중치 행렬을 유지함으로써 전역 최적해로의 수렴을 달성한다.
• 알고리즘은 $O(\frac{\ln k}{\sqrt{k}})$의 속도로 수렴하며, 비선형 푸시-섬 기반 방법의 최고 성능과 동일한 수준이다.
• 수치 실험 결과, 정보 교환 용량이 높은 그래프(예: $\mathcal{G}_c$)에서 더 빠른 수렴이 관찰된다.
• 모든 에이전트의 상태 변수 $\mathbf{x}_i^k$는 동일한 한계점 $\overline{\mathbf{z}}^k$로 수렴하며, 이는 최적해 $\mathbf{x}^*$와 일치한다. 반면 보조 변수 $\mathbf{y}_i^k$는 0으로 수렴한다.
• 행 스토하스틱 행렬을 사용하는 표준 DGD와 비교할 때, D-DGD는 진정한 최적성을 달성하는 반면, DGD는 $\widehat{f}(\mathbf{x}) = \sum \pi_i f_i(\mathbf{x})$와 같은 목적함수의 가중합으로 수렴한다.
• 제안된 방법은 나눗셈과 같은 비선형 연산을 피하므로, 푸시-섬 변형 대비 실시간 및 자원 제약이 있는 분산 시스템에 더 적합하다.