[논문 리뷰] A Combinatorial Cut-Toggling Algorithm for Solving Laplacian Linear Systems

Henzinger, Monika, Daniel A. Spielman외 2명|arXiv (Cornell University)|2013. 11. 13.

Matrix Theory and Algorithms참고 문헌 35인용 수 7

한 줄 요약

이 논문은 대칭적이고 대각선 우세한(SDD) 선형 시스템을 해결하기 위한 최초의 병렬 알고리즘을 제안한다. 이 알고리즘은 거의 선형(work)과 다항로그(depth)의 복잡도를 갖는다. 스펙트럴 그래프 스퍼서피어를 통해 구성된 희소 근사 역행렬 체인을 도입하여 반복적인 행렬-벡터 곱셈을 통해 효율적인 해를 도출하며, ǫ-근사 해를 O(log n log κ log 1/ǫ)의 깊이와 O((m + n log³κ) log 1/ǫ)의 워크로 달성한다.

ABSTRACT

Over the last two decades, a significant line of work in theoretical algorithms has made progress in solving linear systems of the form 𝐋𝐱 = 𝐛, where 𝐋 is the Laplacian matrix of a weighted graph with weights w(i,j) > 0 on the edges. The solution 𝐱 of the linear system can be interpreted as the potentials of an electrical flow in which the resistance on edge (i,j) is 1/w(i,j). Kelner, Orrechia, Sidford, and Zhu [Kelner et al., 2013] give a combinatorial, near-linear time algorithm that maintains the Kirchoff Current Law, and gradually enforces the Kirchoff Potential Law by updating flows around cycles (cycle toggling). In this paper, we consider a dual version of the algorithm that maintains the Kirchoff Potential Law, and gradually enforces the Kirchoff Current Law by cut toggling: each iteration updates all potentials on one side of a fundamental cut of a spanning tree by the same amount. We prove that this dual algorithm also runs in a near-linear number of iterations. We show, however, that if we abstract cut toggling as a natural data structure problem, this problem can be reduced to the online vector-matrix-vector problem (OMv), which has been conjectured to be difficult for dynamic algorithms [Henzinger et al., 2015]. The conjecture implies that the data structure does not have an O(n^{1-ε}) time algorithm for any ε > 0, and thus a straightforward implementation of the cut-toggling algorithm requires essentially linear time per iteration. To circumvent the lower bound, we batch update steps, and perform them simultaneously instead of sequentially. An appropriate choice of batching leads to an Õ(m^{1.5}) time cut-toggling algorithm for solving Laplacian systems. Furthermore, we show that if we sparsify the graph and call our algorithm recursively on the Laplacian system implied by batching and sparsifying, we can reduce the running time to O(m^{1 + ε}) for any ε > 0. Thus, the dual cut-toggling algorithm can achieve (almost) the same running time as its primal cycle-toggling counterpart.

연구 동기 및 목표

• 거의 선형 워크와 다항로그 깊이를 갖는 병렬 SDD 선형 시스템 해법 알고리즘을 개발한다.
• 이전의 거의 선형 시간 해법에서 사용된 저스트레치 스패닝 트리에 의존하는 것을 피하기 위해, 대신 스펙트럴 그래프 스퍼서피어를 사용한다.
• 입력 행렬의 역행렬을 근사하는 희소 행렬의 체인인 희소 근사 역행렬 체인을 구성한다.
• 체인의 행렬들을 반복적으로 행렬-벡터 곱셈하여 대칭적이고 효율적인 해를 도출한다.
• 저스트레치 트리 가정에 의존하지 않고도 임의의 정밀도 ǫ에 대해 거의 선형 워크와 다항로그 깊이를 달성한다.

제안 방법

• SDDM 행렬 M = D − A에 대해 저스트레치 스패닝 트리 대신 스펙트럴 그래프 스퍼서피어를 사용하여 희소 근사 역행렬 체인을 구성한다.
• Orecchia와 Vishnoi의 BalCut 알고리즘을 사용해 거의 선형 워크와 다항로그 깊이로 그래프를 스퍼서피어한다.
• 효율적 저항을 활용하여 외적 곱의 희소 샘플링을 통해 행렬 D − A D⁻¹ A를 근사한다.
• Rudelson과 Vershynin의 농도 정리에 기반한 정리 6.2를 적용하여 효과적 저항 비례로 O(n log n / ǫ²)개의 간선을 샘플링한다.
• 정점당 O(log n) 시간 내에 간선을 샘플링할 수 있는 데이터 구조를 구축하여 스퍼서피어된 행렬의 효율적 병렬 구성이 가능하도록 한다.
• 조건수를 각 단계에서 일정 요소만큼 감소시키기 위해 스퍼서피어 및 행렬 근사의 재귀적 적용을 통해 역행렬 체인을 반복적으로 구성한다.

실험 결과

연구 질문

• RQ1 거의 선형 워크와 다항로그 깊이를 동시에 확보하는 병렬 SDD 선형 시스템 해법기가 설계될 수 있는가?
• RQ2 저스트레치 스패닝 트리에 의존하지 않고도 희소 근사 역행렬 체인을 구성할 수 있는가?
• RQ3 스펙트럴 그래프 스퍼서피어만으로도 SDD 행렬에 대해 안정적이고 효율적인 역행렬 체인을 구축할 수 있는가?
• RQ4 보장된 근사 오차를 갖는 체인을 사용할 때 SDD 시스템을 해결하는 데 필요한 워크와 깊이 복잡도는 무엇인가?
• RQ5 역행렬 체인의 구성이 거의 선형 워크와 로그 깊이를 유지하면서 효율적으로 병렬화될 수 있는가?

주요 결과

• 알고리즘은 일정한 상수 c₁, c₂에 대해 O(m logᶜ¹n log³κ)의 워크와 O(logᶜ²n log κ)의 깊이로 희소 근사 역행렬 체인을 구성한다.
• 모든 ǫ > 0에 대해 알고리즘은 Mx = b에 대한 ǫ-근사 해를 O((m + n log³κ) log 1/ǫ)의 워크와 O(log n log κ log 1/ǫ)의 깊이로 계산한다.
• 스퍼서피어의 성공 확률은 높은 확률(≥ 1 − 1/n²)이며, 역행렬 체인의 성공 확률은 ≥ 1/2이다.
• 저스트레치 스패닝 트리가 필요 없으며, 오직 스펙트럴 스퍼서피케이션과 효율적 저항 샘플링에 의존한다.
• 역행렬 체인은 각 단계에서 두 번의 행렬-벡터 곱셈을 통해 선형 시스템을 해석함으로써 대칭성과 안정성을 보장한다.
• 입력 행렬의 조건수 κ는 워크와 깊이에 로그 형태로 나타나며, 이는 해의 안정성과 수렴성에서의 역할을 반영한다.