[論文レビュー] An SSD-based eigensolver for spectral analysis on billion-node graphs

Da Zheng, Randal Burns+3 more|arXiv (Cornell University)|Feb 3, 2016

Graph Theory and Algorithms参考文献 19被引用数 4

ひとこと要約

FlashEigen は、SSD に密行列部分空間を格納し、半外部記憶方式で疎行列-ベクトル乗算を実行することで、1台のマシンで数十億ノードのグラフに対するスペクトル解析を可能にする SSD ベースの固有値ソルバである。これは、主記憶装置に 120 GB のメモリを用いて 34 億ノード、1290 億エッジのグラフまでスケーリングでき、メモリ内処理性能の 40%〜60% の性能を達成する。

ABSTRACT

Many eigensolvers such as ARPACK and Anasazi have been developed to compute eigenvalues of a large sparse matrix. These eigensolvers are limited by the capacity of RAM. They run in memory of a single machine for smaller eigenvalue problems and require the distributed memory for larger problems. In contrast, we develop an SSD-based eigensolver framework called FlashEigen, which extends Anasazi eigensolvers to SSDs, to compute eigenvalues of a graph with hundreds of millions or even billions of vertices in a single machine. FlashEigen performs sparse matrix multiplication in a semi-external memory fashion, i.e., we keep the sparse matrix on SSDs and the dense matrix in memory. We store the entire vector subspace on SSDs and reduce I/O to improve performance through caching the most recent dense matrix. Our result shows that FlashEigen is able to achieve 40%-60% performance of its in-memory implementation and has performance comparable to the Anasazi eigensolvers on a machine with 48 CPU cores. Furthermore, it is capable of scaling to a graph with 3.4 billion vertices and 129 billion edges. It takes about four hours to compute eight eigenvalues of the billion-node graph using 120 GB memory.

研究の動機と目的

• 制限された RAM を備えた単一マシンで、数十億ノードのグラフに対するスペクトル解析を可能にすること。
• ARPACK や Anasazi のような従来のメモリ内固有値ソルバが直面するメモリ容量のボトルネックを克服すること。
• 大規模なスパース行列演算に効果的に SSD を活用する外部記憶方式の固有値ソルバを設計すること。
• スケーリングされた頂点次数分布を示すパワー則グラフに対して、I/O およびメモリアクセスパターンを最適化すること。
• DRAM よりも 1 時間程度遅い SSD を用いても、メモリ内ソルバと同等の高い性能を達成すること。

提案手法

• 半外部記憶方式（SEM）を採用：疎行列を SSD に保持し、密行列を主記憶に保持する。
• I/O を管理し、OS のオーバーヘッドを低減するため、ユーザースペースファイルシステム（SAFS）を導入する。
• 密行列演算のためのメモリ内最適化（動的ロードバランシング、キャッシュブロッキング、NUMA 対応メモリ配置）を適用する。
• SSD に格納された疎行列を圧縮することで、I/O のボリュームを削減し、取得速度を向上させる。
• 最も最近使用された密行列をキャッシュし、冗長な I/O を最小限に抑えることで、密行列乗算を最適化する。
• Anasazi に内蔵された Block Krylov-Schur ソルバを活用し、ブロック更新を可能にすることで I/O オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 コンsumer 級 SSD を用いても、外部記憶方式の固有値ソルバが数十億ノードのグラフで高い性能を発揮できるか？
• RQ2 大規模固有値ソルバにおいて、SSD 上のスパースおよび密行列演算における I/O ボトルネックをどのように軽減できるか？
• RQ3 ベクトル部分空間を SSD に格納することで、メモリ圧力をどれだけ軽減でき、主記憶の制限を超えてスケーリングできるか？
• RQ4 SSD ベースの固有値ソルバのランタイムおよび I/O 効率は、メモリ内ソルバと比べてどの程度の性能を示すか？
• RQ5 提案された最適化により、コンsumer ハードウェア上での SSD I/O バンド幅を飽和させ、最大に近いスループットを達成できるか？

主な発見

• FlashEigen は、48 核のマシン上で、そのメモリ内対応ソルバの 40%〜60% の性能を達成する。
• 本システムは、34 億ノード、1290 億エッジのグラフまでスケーリングでき、120 GB の RAM を用いて約 4 時間で 8 個の固有値を計算する。
• 平均 I/O スループットは 10 GB/s に達し、SSD アレイの理論的最大値に近い。
• 外部記憶方式の密行列乗算は、メモリ内処理に比べ 3〜4 倍遅いが、I/O 最適化により SSD バンド幅を効果的に活用できる。
• 固有値ソルバは低メモリ消費量を維持しており、ユーザーが収束を速くするためにより大きな部分空間サイズを選択できる。
• I/O およびメモリ最適化に特化した本手法は、MKL や Trilinos の実装を、SSD ベースのワークロードにおいて上回る性能を発揮する。