[논문 리뷰] A Distributed Algorithm for Solving a Linear Algebraic Equation

Shaoshuai Mou, Ji Liu외 1명|arXiv (Cornell University)|2015. 03. 03.

Distributed Control Multi-Agent Systems참고 문헌 35인용 수 8

한 줄 요약

이 논문은 $m$개의 에이전트로 구성된 네트워크에서 $Ax = b$ 선형 시스템을 푸는 분산 알고리즘을 제안한다. 각 에이전트는 $[A\;b]$의 행 부분집합만 소유하고 있으며, 이웃 에이전트와만 통신한다. 시간에 따라 변하는 이웃 그래프의 반복적인 공동 강한 연결성 조건 하에서, 알고리즘은 공통 해로의 지수적 수렴을 보장하며, 유일한 해에 대해 최악의 경우 수렴 속도 상한선을 도출한다. 또한 시간에 따라 변화하는 $A$와 $b$를 추적하거나 최소제곱 해를 계산하는 데의 확장도 가능하다.

ABSTRACT

A distributed algorithm is described for solving a linear algebraic equation of the form $Ax=b$ assuming the equation has at least one solution. The equation is simultaneously solved by $m$ agents assuming each agent knows only a subset of the rows of the partitioned matrix $(A,b)$, the current estimates of the equation's solution generated by its neighbors, and nothing more. Each agent recursively updates its estimate by utilizing the current estimates generated by each of its neighbors. Neighbor relations are characterized by a time-dependent directed graph $\mathbb{N}(t)$ whose vertices correspond to agents and whose arcs depict neighbor relations. It is shown that for any matrix $A$ for which the equation has a solution and any sequence of "repeatedly jointly strongly connected graphs" $\mathbb{N}(t)$, $t=1,2,\ldots$, the algorithm causes all agents' estimates to converge exponentially fast to the same solution to $Ax=b$. It is also shown that the neighbor graph sequence must actually be repeatedly jointly strongly connected if exponential convergence is to be assured. A worst case convergence rate bound is derived for the case when $Ax=b$ has a unique solution. It is demonstrated that with minor modification, the algorithm can track the solution to $Ax = b$, even if $A$ and $b$ are changing with time, provided the rates of change of $A$ and $b$ are sufficiently small. It is also shown that in the absence of communication delays, exponential convergence to a solution occurs even if the times at which each agent updates its estimates are not synchronized with the update times of its neighbors. A modification of the algorithm is outlined which enables it to obtain a least squares solution to $Ax=b$ in a distributed manner, even if $Ax=b$ does not have a solution.

연구 동기 및 목표

• 다양한 에이전트들이 국소 통신과 부분 행 정보만을 사용하여 선형 시스템 $Ax = b$를 풀 수 있도록 분산 알고리즘을 설계하는 것.
• 시간에 따라 변하는 방향성 네트워크에서 공통 해로의 지수적 수렴을 위한 필수 및 필요조건을 규명하는 것.
• $A$와 $b$가 시간에 따라 천천히 변화할 경우 해를 추적할 수 있도록 알고리즘을 확장하는 것.
• $Ax = b$가 정확한 해를 가지지 않을 경우 최소제곱 해를 계산하기 위해 알고리즘을 적응시키는 것.
• 수렴 속도와 확장성 분석을 수행하며, 특히 이방향 및 지연된 통신 환경에서의 성능을 고려하는 것.

제안 방법

• 각 에이전트는 해 벡터의 국소 추정치를 유지하고, 시간에 따라 변하는 방향성 통신 그래프 $\mathbb{N}(t)$를 통해 이웃에서 수신한 추정치를 이용해 이를 갱신한다.
• 업데이트 규칙은 이웃의 추정치를 선형 조합으로 재귀적으로 조합하여 모든 에이전트가 $Ax = b$의 공통 해로 수렴하도록 설계된다.
• 알고리즘은 이웃 그래프의 구조를 활용하며, 수렴을 보장하기 위해 반복적인 공동 강한 연결성을 가정한다.
• 최소제곱 해를 위한 경우, 에이전트는 확장된 상태 벡터 $\bar{x}_i$를 사용하고, $A_i^T A_i$와 그래프 라플라시안 항을 조합한 행렬의 핵에 투영한다.
• 업데이트 시간의 동기화가 필요 없고, 통신 지연이 없을 경우에도, 약한 그래프 연결성 가정 하에 알고리즘이 성능을 유지함을 보였다.
• 업데이트 행렬의 스펙트럼 특성과 공동 연결성 파rameter $\rho$에 기반하여 최악의 경우 기하 수렴 속도 상한선을 유도하였다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 통신 그래프 $\mathbb{N}(t)$에 대해 $Ax = b$의 해로 지수적 수렴을 보장하기 위한 필수 및 필요조건은 무엇인가?
• RQ2 수렴 속도는 네트워크 구조와 행렬 $A$에 어떻게 의존하는가?
• RQ3 만약 $A$와 $b$가 시간에 따라 천천히 변화한다면 알고리즘이 해를 추적할 수 있으며, 추적 오차에 적용 가능한 상한은 무엇인가?
• RQ4 만약 $Ax = b$가 정확한 해를 가지지 않는 경우 알고리즘은 어떻게 수정되어 최소제곱 해를 계산할 수 있는가?
• RQ5 통신 지연과 이방향 업데이트가 수렴에 미치는 영향은 무엇이며, 여전히 지수적 수렴을 보장할 수 있는가?

주요 결과

• 해당 시퀀스의 이웃 그래프 $\mathbb{N}(t)$가 반복적으로 공동 강한 연결되어 있을 때에만 $Ax = b$의 공통 해로 지수적 수렴이 보장된다.
• 유일한 해가 존재하는 경우, 최악의 경우 기하 수렴 속도 상한선이 도출되었으며, 이는 공동 연결성 파rameter $\rho$와 시스템의 스펙트럼 특성에 의존한다.
• 만약 $A$와 $b$가 천천히 변화한다면 알고리즘은 해를 추적할 수 있으며, 추적 오차는 $A$와 $b$의 변화율에 의해 상한이 정해진다.
• 통신 지연이 없고 업데이트 시간이 동기화되지 않은 이방향 업데이트 조건 하에서도 알고리즘은 여전히 지수적 수렴을 보인다.
• 수정된 알고리즘 버전을 통해 $Ax = b$가 정확한 해를 가지지 않을 경우에도 분산 최소제곱 해 계산이 가능하다.
• 수렴 속도 상한선은 날카롭게 조정되어 있으며, $A$의 조건수와 네트워크의 연결성 구조에 따라 달라지며, $\rho$는 공동 연결성 강도를 정량화한다.