[논문 리뷰] Network Flows that Solve Least Squares for Linear Equations

Yang Liu, Youcheng Lou외 2명|arXiv (Cornell University)|2018. 08. 13.

Distributed Control Multi-Agent Systems참고 문헌 25인용 수 6

한 줄 요약

이 논문은 네트워크 상에서 선형 방정식의 최소제곱 문제를 해결하기 위한 일阶 분산 연속시간 네트워크 흐름을 제안한다. 각 에이전트는 국소 평균화와 국소 비용 함수의 경사 하강을 통해 상태를 갱신하며, 감소하거나 L² 적분 가능한 스텝 크기를 사용함으로써 고정 또는 스위칭 네트워크 구조에서 최소제곱 해로 수렴함을 보장한다.

ABSTRACT

This paper presents a first-order {distributed continuous-time algorithm} for computing the least-squares solution to a linear equation over networks. Given the uniqueness of the solution, with nonintegrable and diminishing step size, convergence results are provided for fixed graphs. The exact rate of convergence is also established for various types of step size choices falling into that category. For the case where non-unique solutions exist, convergence to one such solution is proved for constantly connected switching graphs with square integrable step size, and for uniformly jointly connected switching graphs under the boundedness assumption on system states. Validation of the results and illustration of the impact of step size on the convergence speed are made using a few numerical examples.

연구 동기 및 목표

• 전체 데이터에 접근할 수 있는 에이전트가 제한된 경우 대규모 시스템에서 최소제곱 해를 분산적으로 계산하는 문제에 대응한다.
• 이차형 해법이나 상태 확장의 한계를 극복하기 위해 일계, 저복잡도 대안을 제안한다.
• 스위칭 네트워크 구조에서 유일하거나 비유일한 최소제곱 해에 대해 수렴 보장을 수립한다.
• 스텝 크기 선택 및 시스템 파라미터에 기반한 수렴 속도에 대한 분석적 경계를 제공한다.
• 수치 시뮬레이션을 통해 알고리즘의 성능 및 스텝 크기 민감도를 검증한다.

제안 방법

• 각 에이전트가 이웃과의 국소 평균화를 수행하고 국소 비용 함수의 음의 경사 방향으로 하강하는 연속시간 네트워크 흐름을 제안한다.
• 고정 그래프에서 수렴을 보장하기 위해 감소하고 적분 가능하지 않은 스텝 크기를 사용한다.
• 일관된 연결성을 갖는 스위칭 그래프에서는 L² 적분 가능한 스텝 크기를 적용하여 최소제곱 해로 수렴한다.
• 균일하게 공동 연결된 스위칭 네트워크에서 수렴을 증명하기 위해 시스템 상태의 유계성 조건을 도입한다.
• 리아푸노프 안정성 분석과 그래프 이론적 성질(예: 공동 연결성)을 활용하여 동적 구조에서의 수렴을 확립한다.
• 각 노드가 오직 자신의 방정식만 알고 있으며 이웃과 통신하는 네트워크 시스템에 알고리즘을 통합한다.

실험 결과

연구 질문

• RQ1 고정 연결성을 갖는 네트워크에서 일계 분산 연속시간 알고리즘이 네트워크 선형 시스템의 최소제곱 해로 수렴할 수 있는가?
• RQ2 스텝 크기의 선택은 고정 및 스위칭 네트워크 환경에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 최소제곱 해가 비유일할 경우 수렴을 보장하기 위한 네트워크 연결성 조건은 무엇인가?
• RQ4 항상 실시간 연결이 필요하지 않은 스위칭 구조에서도 수렴을 보장할 수 있는가?
• RQ5 다수의 해가 존재할 경우 시스템이 수렴하는 특정 최소제곱 해는 무엇에 의해 결정되는가?

주요 결과

• 감소하고 적분 가능하지 않은 스텝 크기를 사용하는 고정 연결 그래프에서는 모든 에이전트 상태가 유일한 최소제곱 해로 점 渐진 수렴한다.
• L² 적분 가능한 스텝 크기를 사용할 경우, 일관된 연결성을 갖는 스위칭 그래프에서 최소제곱 해로 수렴한다.
• 균일하게 공동 연결된 스위칭 그래프에서는 시스템 상태가 유계일 경우 최소제곱 해로 수렴한다.
• 수렴 속도는 분석적으로 경계가 내려지며, 스텝 크기 선택, 행렬 조건 수, 네트워크 크기에 따라 달라진다.
• 수치 예제는 다수의 해가 존재할 경우 초기 조건에 따라 다른 최소제곱 해로 수렴함을 확인한다.
• 알고리즘은 스텝 크기 민감도에 대해 강건한 성능을 보이며, 감소 속도가 느린 스텝 크기에서 더 빠른 수렴이 관찰된다.