[논문 리뷰] Lean Algebraic Multigrid (LAMG): Fast Graph Laplacian Linear Solver (Journal Version)

Oren E. Livne, Achi Brandt|arXiv (Cornell University)|2011. 08. 05.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

이 논문은 기하학적 라플라시안 시스템을 위한 빠르고 선형 스케일링인 반복적 해법인 레인 대수적 멀티그리드(LAMG)를 소개한다. LAMG는 조각별로 일정한 보간, 유사도 기반 노드 집약, 에너지 보정된 군대 격자 시스템을 사용하여 다양한 실제 그래프에서 O(m)의 저장공간과 O(m log(1/ε))의 해법 시간을 달성한다. 이는 직접 해법보다 빠르며, 조합적 멀티그리드보다 더 뛰어난 강건성을 보이며, 평균 성능는 略로 느리지만 성능을 뛰어넘는다.

ABSTRACT

Laplacian matrices of graphs arise in large-scale computational applications such as semi-supervised machine learning; spectral clustering of images, genetic data and web pages; transportation network flows; electrical resistor circuits; and elliptic partial differential equations discretized on unstructured grids with finite elements. A Lean Algebraic Multigrid (LAMG) solver of the symmetric linear system Ax=b is presented, where A is a graph Laplacian. LAMG's run time and storage are empirically demonstrated to scale linearly with the number of edges. LAMG consists of a setup phase during which a sequence of increasingly-coarser Laplacian systems is constructed, and an iterative solve phase using multigrid cycles. General graphs pose algorithmic challenges not encountered in traditional multigrid applications. LAMG combines a lean piecewise-constant interpolation, judicious node aggregation based on a new node proximity measure (the affinity), and an energy correction of coarse-level systems. This results in fast convergence and substantial setup and memory savings. A serial LAMG implementation scaled linearly for a diverse set of 3774 real-world graphs with up to 47 million edges, with no parameter tuning. LAMG was more robust than the UMFPACK direct solver and Combinatorial Multigrid (CMG), although CMG was faster than LAMG on average. Our methodology is extensible to eigenproblems and other graph computations.

연구 동기 및 목표

• 기계 학습, 스펙트럴 클러스터링, PDE 등 대규모 응용 분야에서 발생하는 그래프 라플라시안 시스템을 위한 빠르고 확장 가능한 반복적 해법을 개발한다.
• 파rameter 조정 없이 다양한 실제 그래프에서 메모리와 런타임에 모두 선형 스케일링을 달성한다.
• 일般的한 희박한 그래프 라플라시안에 대해 기존 해법보다 강건성과 효율성 면에서 뛰어나게 한다.
• 시간에 따라 변하는 및 반복적인 응용 분야에서 매우 중요한 다중 우변 벡터에 대한 신속한 재해결을 가능하게 한다.
• 멀티그리드 프레임워크를 비전통적 그래프 구조, 즉 음수 가중치와 비대칭 성질을 가진 그래프로 확장한다.

제안 방법

• LAMG는 새로운 노드 유사도 측정법을 사용해 점차 더 군대가 되는 라플라시안 시스템의 계층을 설정 단계에서 구성한다.
• 설정 비용과 메모리 사용량을 최소화하기 위해 경량의 조각별 일정 보간 연산자를 사용한다.
• 에너지 증폭을 방지하고 수렴 안정성을 유지하기 위해 군대 수준의 시스템에 에너지 보정을 적용한다.
• 반복적 해법 단계에서는 가우스-세이델 완화와 적응형 군대화를 사용한 멀티그리드 사이클을 사용해 수렴 속도를 가속화한다.
• 수정된 보간과 부트스트랩 사이클을 통해 비대각 우세성 및 비대칭성 있는 그래프를 다룰 수 있도록 알고리즘을 설계하였다.
• 프레임워크는 전체 근사 방법(Full Approximation Scheme, FAS)을 통해 고유값 문제로 확장 가능하여 최소 고유쌍의 효율적 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 순수하게 대수적 멀티그리드 방법이 일반적인 그래프 라플라시안에 대해 기억과 런타임에 모두 선형 스케일링을 달성할 수 있는가?
• RQ2 다양한 실제 그래프에서 LAMG의 성능은 직접 해법과 조합적 멀티그리드와 비교해 어떻게 되는가?
• RQ3 유사도 기반 집약과 에너지 보정이 파rameter 조정 없이도 수렴 안정성을 향상시킬 수 있는가?
• RQ4 LAMG는 비대칭성, 비대각 우세성 또는 음수 가중치를 가진 그래프 라플라시안으로 얼마나 일반화될 수 있는가?
• RQ5 FAS나 레일리히 셰이프 반복을 통해 멀티그리드 프레임워크를 이용해 최소 고유쌍을 효율적으로 계산할 수 있는가?

주요 결과

• LAMG는 최대 4,700만 개의 간선을 가진 3,774개의 실제 그래프에서 파rameter 조정 없이도 런타임과 메모리 사용에 모두 선형 스케일링을 입증하였다.
• 해법 시간은 O(m)의 저장공간과 O(m log(1/ε))의 시간을 달성하였으며, 숨겨진 상수는 수백 수준이었고, 수백만은 아니었다.
• LAMG는 UMFPACK과 조합적 멀티그리드보다 더 강건했지만, 테스트 세트에서 평균적으로 CMG가 더 빠르게 작동하였다.
• 유사도 기반 집약과 에너지 보정의 사용은 수렴 안정성 향상과 설정 오버헤드 감소에 크게 기여하였다.
• 수정된 보간과 부트스트랩 사이클을 통해 고차원 유한요소 이산화에서 발생하는 음수 간선 가중치를 가진 그래프도 성공적으로 처리하였다.
• LAMG 프레임워크는 전체 근사 방법을 통해 고유값 문제로 성공적으로 확장되었으며, 최소 고유쌍의 효율적 계산이 가능해졌다.