[論文レビュー] Lean Algebraic Multigrid (LAMG): Fast Graph Laplacian Linear Solver (Journal Version)

Oren E. Livne, Achi Brandt|arXiv (Cornell University)|Aug 5, 2011

Matrix Theory and Algorithms被引用数 4

ひとこと要約

この論文では、グラフラプラシアン系のための高速で線形スケーリングの反復解法である Lean Algebraic Multigrid (LAMG) を紹介する。LAMG は、区分的定数補間、アフィニティに基づくノード集約、エネルギー補正付き粗めグリッド系を用いたセットアップ段階を採用し、多様な実世界のグラフにおいて O(m) の記憶容量と O(m log(1/ε)) の解法時間を達成する。これは直接解法よりも優れており、わずかに遅い平均性能であるが、組合せ的 multigrid よりも優れたロバスト性を示す。

ABSTRACT

Laplacian matrices of graphs arise in large-scale computational applications such as semi-supervised machine learning; spectral clustering of images, genetic data and web pages; transportation network flows; electrical resistor circuits; and elliptic partial differential equations discretized on unstructured grids with finite elements. A Lean Algebraic Multigrid (LAMG) solver of the symmetric linear system Ax=b is presented, where A is a graph Laplacian. LAMG's run time and storage are empirically demonstrated to scale linearly with the number of edges. LAMG consists of a setup phase during which a sequence of increasingly-coarser Laplacian systems is constructed, and an iterative solve phase using multigrid cycles. General graphs pose algorithmic challenges not encountered in traditional multigrid applications. LAMG combines a lean piecewise-constant interpolation, judicious node aggregation based on a new node proximity measure (the affinity), and an energy correction of coarse-level systems. This results in fast convergence and substantial setup and memory savings. A serial LAMG implementation scaled linearly for a diverse set of 3774 real-world graphs with up to 47 million edges, with no parameter tuning. LAMG was more robust than the UMFPACK direct solver and Combinatorial Multigrid (CMG), although CMG was faster than LAMG on average. Our methodology is extensible to eigenproblems and other graph computations.

研究の動機と目的

• 機械学習、スペクトルクラスタリング、偏微分方程式などの大規模応用に生じるグラフラプラシアン系のための高速でスケーラブルな反復解法を開発すること。
• パrameterチューニングなしで、多様な実世界のグラフにおいて記憶容量と実行時間の両方で線形スケーリングを達成すること。
• 一般のスパースグラフラプラシアンに対して、既存の解法よりもロバスト性と効率性に優れた性能を達成すること。
• 時間依存的および反復的応用において重要な複数の右辺に対する高速な再解法を可能にすること。
• multigridフレームワークを、負の重みや異方的特性を持つ非伝統的グラフ構造へと拡張すること。

提案手法

• LAMG は、ノードのアフィニティを測る新しい測度を用いて、集約を誘導する、階層的な粗いラプラシアン系の構築を段階的に行うセットアップ段階を採用する。
• セットアップコストと記憶容量の最小化を目的に、簡素な区分的定数補間演算子を用いる。
• エネルギーインフレーションを防ぎ、収束安定性を維持するために、粗いグリッド系にエネルギー補正を適用する。
• 反復的解法段階では、ガウス＝ザイデル緩和と適応的粗化を組み合わせた multigrid サイクルを用いて収束を加速する。
• 修正された補間とブートストラップサイクルを通じて、非対角優勢でない、あるいは異方的グラフを扱えるようにアルゴリズムを設計する。
• フル近似スキーム（FAS）を介して固有値問題へと拡張可能であり、最小固有ペアの効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 純粋な代数的 multigrid 法が、一般のグラフラプラシアンに対して記憶容量と実行時間の両方で線形スケーリングを達成できるか？
• RQ2 LAMG の性能は、多様な実世界のグラフにおいて、直接解法と組合せ的 multigrid と比べてどうか？
• RQ3 アフィニティに基づく集約とエネルギー補正が、パrameterチューニングなしで収束を安定化できるか？
• RQ4 LAMG は、非対称的、非対角優勢的、あるいは負の重みを持つグラフラプラシアンへどの程度一般化できるか？
• RQ5 FAS やレイリー商反復法を用いて、multigridフレームワークを最小固有ペアの効率的計算に適応できるか？

主な発見

• LAMG は、最大 4700万本の辺を持つ 3,774 個の実世界グラフにおいて、パrameterチューニングなしで、実行時間と記憶容量の両方で線形スケーリングを示した。
• O(m) の記憶容量と O(m log(1/ε)) の解法時間を達成し、隠れた定数は数百万ではなく数百のオーダーであった。
• UMFPACK や組合せ的 multigrid よりもロバストであったが、テストセット全体では CMG が平均的に速かった。
• アフィニティに基づく集約とエネルギー補正の導入により、収束安定性が著しく向上し、セットアップオーバーヘッドが削減された。
• 修正された補間とブートストラップサイクルを用いて、高次有限要素離散化に見られるような負のエッジ重みを持つグラフも正常に処理できた。
• フル近似スキーム（FAS）を用いた LAMG フレームワークの拡張により、最小固有ペアの効率的計算が可能になった。