[論文レビュー] An Efficient Solver for Sparse Linear Systems Based on Rank-Structured Cholesky Factorization

Jeffrey N. Chadwick, David Bindel|arXiv (Cornell University)|Jul 20, 2015

Matrix Theory and Algorithms参考文献 17被引用数 8

ひとこと要約

この論文では、低ランク行列近似のメモリ効率と超ノード的コレスキー因子化の高性能メモリアクセスパターンを組み合わせた、新規なスパースでランク構造を持つコレスキー解法を提示する。コレスキー因子の非対角および対角ブロックにランダム化された低ランク圧縮を適用することにより、偏微分方程式（PDE）離散化線形系において、標準的なスパースコレスキー法およびプリコンディショニング付き反復解法よりも、メモリ使用量とウォールクロック時間の両方を削減する。

ABSTRACT

Direct factorization methods for the solution of large, sparse linear systems that arise from PDE discretizations are robust, but typically show poor time and memory scalability for large systems. In this paper, we describe an efficient sparse, rank-structured Cholesky algorithm for solution of the positive definite linear system $A x = b$ when $A$ comes from a discretized partial-differential equation. Our approach combines the efficient memory access patterns of conventional supernodal Cholesky algorithms with the memory efficiency of rank-structured direct solvers. For several test problems arising from PDE discretizations, our method takes less memory than standard sparse Cholesky solvers and less wall-clock time than standard preconditioned iterations.

研究の動機と目的

• 大規模3次元PDE離散化における、標準的スパース直接解法のメモリおよび時間的スケーラビリティの低さに対処する。
• 非対角および対角ブロックにおける低ランク構造を活用することで、従来のスパースコレスキー因子化の高いフィルインとメモリオーバーヘッドを克服する。
• 下位のPDEメッシュや幾何構造の知識を必要としないブラックボックス解法を設計し、高いパフォーマンスを維持する。
• PDE問題において、標準的スパースコレスキー法およびプリコンディショニング付き反復法よりも、より優れたメモリおよび時間的効率を達成する。
• 空間的変数分離に基づく部分ブロックの再帰的低ランク近似を用いて、対角ブロックの階層的圧縮を統合し、さらにストレージおよび計算コストを削減する。

提案手法

• スパースパターンが類似する列をスーパーノードにグループ化することで、超ノード的左側ルックインコレスキーアルゴリズムを変更し、性能を向上させるための密行列演算を可能にする。
• 非対角ブロック $\mathbf{L}^O_j$ 間の低ランク近似を計算するために、パワー反復法によるランダム化された特異値分解（SVD）を適用する。
• 大きな非対角ブロックの明示的生成を回避するため、行列・ベクトル積を暗黙的に行い、低ランク近似中のメモリフットプリントを削減する。
• 大きなスーパーノード内での再配置により、対角ブロック $\mathbf{L}^D_j$ に低ランク構造を露わにし、部分ブロックの再帰的圧縮を可能にする。
• ランダム射影からの正規直交基底を抽出するためにQRベースの直交化を用い、非対角相互作用の安定した低ランク因子化を保証する。
• 空間的変数分離によって形成される部分ブロックに対して、再帰的低ランク近似を適用することで、対角ブロックの階層的圧縮を統合する。

実験結果

リサーチクエスチョン

• RQ1 コレスキー因子内の非対角および対角ブロックに対する低ランク圧縮は、解の精度を損なわせることなく、メモリ使用量を削減できるか？
• RQ2 超ノード的構造と低ランク近似を組み合わせることで、標準的スパースコレスキー法やプリコンディショニング付きクリロフ法よりも高速な解法時間が達成できるか？
• RQ3 PDE離散化における低ランク構造を自動的に活用できるブラックボックス解法を設計できるか？ただし、メッシュや幾何情報の知識は不要である。
• RQ4 大きな非対角ブロックのスパースコレスキー因子近似において、ランダム化SVDと暗黙的行列・ベクトル積はどの程度有効か？
• RQ5 大規模3次元問題において、対角ブロックの階層的圧縮は、さらにどの程度メモリおよび計算コストを削減できるか？

主な発見

• 提案された解法は、いくつかのPDE離散化テスト問題において、標準的スパースコレスキー解法よりも少ないメモリを使用する。
• 同じテスト問題において、標準的プリコンディショニング付き反復解法よりも速いウォールクロック時間を達成する。
• 非対角ブロックの低ランク近似は、明示的ストレージを避ける暗黙的行列・ベクトル積を用いたランダム化SVDにより、効率的に計算される。
• 対角ブロックの階層的圧縮により、再帰的低ランク構造が露わになり、大規模スーパーノードにおけるさらなるメモリ削減が可能になる。
• 超ノードフレームワークによる最適化されたメモリアクセスパターンにより、高いパフォーマンスを維持しながら、データスパース圧縮を達成する。
• 解法は、下位のPDEメッシュや幾何構造の知識を必要とせずブラックボックスとして動作するため、PDE離散化に広く適用可能である。