[논문 리뷰] Finite-Time Distributed Linear Equation Solver for Minimum $l_1$ Norm Solutions

Jingqiu Zhou, Xuan Wang외 2명|arXiv (Cornell University)|2017. 09. 28.

Matrix Theory and Algorithms참고 문헌 32인용 수 4

한 줄 요약

이 논문은 다수의 에이전트 네트워크에서 빠르게 수렴하는 분산 알고리즘을 제안하여, 과소정의된 경우에 선형 방정식 $Ax = b$의 최소 $l_1$-노름 해를 구한다. 투영-합의 흐름과 유한 시간 경사하강 동역학을 조합함으로써, 모든 에이전트가 유한 시간 내에 최소 $l_1$-노름 해에 합의하게 된다. 이는 필리포프 미분 포함관계와 일반화된 리 대수를 통해 증명되었으며, 네 에이전트 네트워크에서의 시뮬레이션을 통해 검증되었다.

ABSTRACT

This paper proposes distributed algorithms for multi-agent networks to achieve a solution in finite time to a linear equation $Ax=b$ where $A$ has full row rank, and with the minimum $l_1$-norm in the underdetermined case (where $A$ has more columns than rows). The underlying network is assumed to be undirected and fixed, and an analytical proof is provided for the proposed algorithm to drive all agents' individual states to converge to a common value, viz a solution of $Ax=b$, which is the minimum $l_1$-norm solution in the underdetermined case. Numerical simulations are also provided as validation of the proposed algorithms.

연구 동기 및 목표

• 다중 에이전트 네트워크에서 $Ax = b$의 해에 대해 유한 시간 수렴을 달성하는 분산 알고리즘을 개발한다.
• 에이전트의 수가 행의 수보다 많을 때(즉, $A$가 행렬의 열 수가 더 많은 과소정의된 경우) 최소 $l_1$-노름 해에 대한 유한 시간 수렴 성질을 확장한다.
• 기존 방법의 점근적 수렴 한계를 제거하기 위해 정확한 수렴을 유한 시간 내에 보장한다.
• 필리포프 이론과 일반화된 리 도함수를 사용하여 유한 시간 수렴의 분석적 증명을 제공한다.
• 다양한 수렴 동역학을 갖는 네 에이전트 네트워크에서의 수치 시뮬레이션을 통해 알고리즘을 검증한다.

제안 방법

• 알고리즘은 투영-합의 흐름 기반의 분산 업데이트 규칙을 사용하여, 각 에이전트가 국소 정보와 이웃 간의 통신을 통해 해를 추정할 수 있도록 한다.
• 유한 시간 수렴은 업데이트 법칙에 시간에 따라 변하는 이득 $k(t) = \frac{\bar{\delta}}{t+1} + \delta$ 를 통합함으로써 달성되며, 이는 빠른 수렴을 보장한다.
• 비연속적인 $\text{sgn}(\cdot)$ 함수에 기인한 미분 포함관계를 분석하기 위해 필리포프 다가우수 집합과 일반화된 리 도함수를 활용한다.
• 먼저 최소 $l_1$-노름 해를 위한 중심집중형 업데이트를 $l_1$-노름 목적 함수에 대한 유한 시간 경사하강 흐름을 사용하여 유도한 후, 이를 분산 프레임워크에 통합한다.
• 전반적인 분산 알고리즘은 유한 시간 합의 메커니즘과 중심집중형 최소 $l_1$-노름 솔버를 조합하여, 모든 에이전트가 동일한 최소 $l_1$-노름 해로 수렴하도록 보장한다.
• 합의에서의 편차의 $l_1$-노름, $\|y(t) - \mathbf{1}_m \otimes x^*\|_1$ 을 사용하여 수렴을 검증하였으며, 이 값이 유한 시간 내에 0에 도달함을 확인하였다.

실험 결과

연구 질문

• RQ1 국소 통신만을 사용하는 다중 에이전트 네트워크에서 $Ax = b$의 해에 대해 분산 알고리즘이 유한 시간 수렴을 달성할 수 있는가?
• RQ2 과소정의된 시스템에서 분산 계산을 통해 최소 $l_1$-노름 해를 유한 시간 내에 달성하는 방법은 무엇인가?
• RQ3 비연속적인 $l_1$-노름과 $\text{sgn}(\cdot)$ 함수가 존재하는 상황에서도 유한 시간 수렴을 보장하는 동역학적 메커니즘은 무엇인가?
• RQ4 시간에 따라 변하는 이득 $k(t)$ 는 분산 솔버의 수렴 속도와 유한 시간 행동에 어떤 영향을 미치는가?
• RQ5 분산 알고리즘의 수렴 시간과 중심집중형 최소 $l_1$-노름 솔버 간의 관계는 어떠한가?

주요 결과

• 네 에이전트 네트워크에서 분산 알고리즘이 $Ax = b$의 해에 대해 유한 시간 수렴을 달성함을 확인하였으며, $\|y(t) - \mathbf{1}_m \otimes x^*\|_1$ 이 유한 시간 내에 0에 도달함을 통해 이를 입증하였다.
• 중앙집중형 업데이트 방식은 최소 $l_1$-노름 해에 대해 유한 시간 수렴을 달성하였으며, $\|y(t) - \bar{x}^*\|_1$ 이 0에 도달하고 그 이후에도 0을 유지하였다.
• 최소 $l_1$-노름 해를 위한 분산 알고리즘은 $\bar{\delta}$ 와 $\delta$ 의 다양한 매개변수 조합에 관계없이 유한 시간 내에 수렴하며, $\delta$ 가 증가할수록 수렴 시간이 감소한다.
• $\delta$ 를 증가시키면 수렴 속도가 크게 향상되며, $\bar{\delta}$ 를 증가시키는 것도 수렴을 향상시킨다. 다만 그 영향은 덜 뚜렷하다.
• 분산 알고리즘의 수렴 시간은 중심집중형 경우보다 약 $\frac{1}{\delta}$ 배 더 길며, 이는 중심집중형 동역학이 $k(t) < 1$ 으로 스케일링되기 때문이다.
• 에이전트 간의 합의가 유한 시간 내에 달성되었으며, $\|y(t) - \mathbf{1}_m \otimes \bar{y}(t)\|_1$ 이 0에 도달함으로써 동일한 해로 동기화된 수렴이 이루어짐을 보였다.