[논문 리뷰] A nearly-mlogn time solver for SDD linear systems

Ioannis Koutis, Gary L. Miller외 1명|arXiv (Cornell University)|2011. 02. 23.

Complexity and Algorithms in Graphs참고 문헌 25인용 수 93

한 줄 요약

이 논문은 그래프 스퍼피피케이션과 수축 과정에서 전체 스트레치의 불변성을 활용하는 새로운 조건부 사슬 구축 기법을 도입하여 대칭적으로 대각우세(SDD) 선형 시스템에 대해 거의-m log n 시간 복잡도의 해법을 제시한다. 주요 기여는 조건부 사슬 전반에서 단일 저스트레치 스패닝 트리를 재사용함으로써 이전의 Õ(m log²n)에서 Õ(m log n)으로의 속도 향상이다. 이는 평균 스트레치가 O(1/log n)인 스파이너 헤비 그래프에 대해 선형 시간 해법을 가능하게 한다.

ABSTRACT

We present an improved algorithm for solving symmetrically diagonally dominant linear systems. On input of an $n imes n$ symmetric diagonally dominant matrix $A$ with $m$ non-zero entries and a vector $b$ such that $A\bar{x} = b$ for some (unknown) vector $\bar{x}$, our algorithm computes a vector $x$ such that $||{x}-\bar{x}||_A < ε||\bar{x}||_A $ {$||\cdot||_A$ denotes the A-norm} in time $${ ilde O}(m\log n \log (1/ε)).$$ The solver utilizes in a standard way a `preconditioning' chain of progressively sparser graphs. To claim the faster running time we make a two-fold improvement in the algorithm for constructing the chain. The new chain exploits previously unknown properties of the graph sparsification algorithm given in [Koutis,Miller,Peng, FOCS 2010], allowing for stronger preconditioning properties. We also present an algorithm of independent interest that constructs nearly-tight low-stretch spanning trees in time $ ilde{O}(m\log{n})$, a factor of $O(\log{n})$ faster than the algorithm in [Abraham,Bartal,Neiman, FOCS 2008]. This speedup directly reflects on the construction time of the preconditioning chain.

연구 동기 및 목표

• 그래프 알고리즘, 수치적 PDE, 기계학습 등에 핵심적인 영향을 미치는 대칭적으로 대각우세(SDD) 선형 시스템에 대한 더 빠른 해법 개발.
• 이전의 Õ(m log²n) 실행 시간 장벽을 극복하기 위해 로그 인자에 대한 의존도를 줄이기.
• 그래프 스퍼피케이션 및 수축 과정에서의 불변성 특성을 활용하여 거의 최적의 Õ(m log n) 실행 시간 달성.
• 모든 수준에서 동일한 저스트레치 스패닝 트리를 사용하여 더 강력한 스펙트럴 보장을 갖춘 조건부 사슬 구축.
• 기존의 O(m log²n) 방법에 비해 향상된 Õ(m log n) 시간 내에 거의 타이트한 저스트레치 스패닝 트리 구축을 위한 더 빠른 알고리즘 제공.

제안 방법

• 스펙트럴 스퍼피케이션과 차수 1 및 2인 노드의 탐욕적 제거를 통해 점점 더 흐린 그래프의 조건부 사슬을 구성.
• [KMP10a]에서 제안한 점진적 스퍼피케이션 알고리즘에 대한 깊이 있는 분석을 활용하여, 스퍼피케이션 및 수축 과정에서 외부 간선의 총 스트레치가 불변임을 증명.
• 모든 사슬 수준에서 동일한 저스트레치 스패닝 트리를 재사용함으로써 각 단계에서 다시 계산할 필요 없이 효율성 확보.
• 조건수 κ를 유지하면서 스펙트럴 유사성을 보장하는 수정된 스퍼피케이션 루틴을 활용하여 사슬 구축 속도 향상.
• 간선 가중치를 반올림하여 서로 다른 간선 길이의 수를 O(log n)로 제한함으로써, HierarchicalStarPartition을 통한 효율적이고 재귀적인 분할 가능.
• StarPartition 알고리즘과 ImpConeDecomp를 조합하여, 반올림된 그래프에서 Õ(m log n) 시간 내에 저스트레치 스패닝 트리를 구축하며, 스트레치는 상수 인자 범위 내에서 유지.

실험 결과

연구 질문

• RQ1 조건부 사슬 구축을 개선하여 SDD 해법의 실행 시간을 Õ(m log²n)에서 Õ(m log n)으로 줄일 수 있는가?
• RQ2 그래프 스퍼피케이션 및 수축 과정에서 외부 간선의 총 스트레치가 불변하는가? 이는 사슬 전반에서 단일 스패닝 트리를 재사용할 수 있도록 하는가?
• RQ3 기존의 O(m log²n) 방법에 비해 Õ(m log n) 시간 내에 거의 타이트한 저스트레치 스패닝 트리를 구성할 수 있는가?
• RQ4 간선 가중치 반올림이 계층적 분할에서 스트레치 유지 및 알고리즘 효율성에 어떤 영향을 미치는가?
• RQ5 평균 스트레치가 O(1/log n)인 스파이너 헤비 그래프는 제안된 프레임워크를 통해 선형 시간 내에 해결할 수 있는가?

주요 결과

• 제안된 SDD 해법은 Õ(m log n log(1/ε)) 시간 내에 실행되며, 이는 이전의 Õ(m log²n) 해법 대비 log n의 속도 향상을 달성한다.
• 외부 간선의 총 스트레치는 스퍼피케이션 및 그래프 수축 과정에서 모두 불변이며, 이는 전체 조건부 사슬 전반에서 단일 저스트레치 스패닝 트리를 재사용할 수 있도록 한다.
• 새로운 알고리즘은 거의 타이트한 저스트레치 스패닝 트리를 Õ(m log n) 시간 내에 구성할 수 있으며, 이는 이전의 O(m log²n) 방법 대비 O(log n)의 향상이다.
• 평균 스트레치가 O(1/log n)인 스파이너 헤비 그래프는 새로운 프레임워크를 통해 선형 시간 내에 해결할 수 있다.
• 간선 가중치 반올림은 O(log n)개의 서로 다른 간선 길이를 보장하며, 이는 HierarchicalStarPartition 알고리즘이 Õ(m log n) 시간 내에 실행되며 스트레치가 2배 이내로 유지됨을 가능하게 한다.
• 스파이너 헤비 그래프에서 시작하여 균일 샘플링을 적용하는 부드러운 그래프 시퀀스는 스퍼피케이션과 제거의 명확한 분리를 가능하게 하여 조건자 사슬 구축을 단순화한다.