[論文レビュー] GraphCage: Cache Aware Graph Processing on GPUs

Xuhao Chen|arXiv (Cornell University)|Apr 3, 2019

Graph Theory and Algorithms参考文献 36被引用数 4

ひとこと要約

GraphCage は、GPU における効率的なグラフ処理のためのキャッシュに配慮した最適化フレームワークであり、スループット指向のキャッシュブロッキング方式（TOCAB）を導入することで、データ局所性を向上させ、メモリ遅延を低減する。CSR を基盤とするグラフ表現と負荷分散を連携させることで、手動最適化された実装および Gunrock や CuSha などの最先端フレームワークと比較して 2–4× の高速化を達成し、メモリ使用量も低く抑えられる。

ABSTRACT

Efficient Graph processing is challenging because of the irregularity of graph algorithms. Using GPUs to accelerate irregular graph algorithms is even more difficult to be efficient, since GPU's highly structured SIMT architecture is not a natural fit for irregular applications. With lots of previous efforts spent on subtly mapping graph algorithms onto the GPU, the performance of graph processing on GPUs is still highly memory-latency bound, leading to low utilization of compute resources. Random memory accesses generated by the sparse graph data structure are the major causes of this significant memory access latency. Simply applying the conventional cache blocking technique proposed for matrix computation have limited benefit due to the significant overhead on the GPU. We propose GraphCage, a cache centric optimization framework for highly efficient graph processing on GPUs. We first present a throughput-oriented cache blocking scheme (TOCAB) in both push and pull directions. Comparing with conventional cache blocking which suffers repeated accesses when processing large graphs on GPUs, TOCAB is specifically optimized for the GPU architecture to reduce this overhead and improve memory access efficiency. To integrate our scheme into state-of-the-art implementations without significant overhead, we coordinate TOCAB with load balancing strategies by considering the sparsity of subgraphs. To enable cache blocking for traversal-based algorithms, we consider the benefit and overhead in different iterations with different working set sizes, and apply TOCAB for topology-driven kernels in pull direction. Evaluation shows that GraphCage can improve performance by 2 ~ 4x compared to hand optimized implementations and state-of-the-art frameworks (e.g. CuSha and Gunrock), with less memory consumption than CuSha.

研究の動機と目的

• スパースグラフワークロードにおける不規則かつランダムなメモリアクセスのための GPU グラフ処理におけるデータ局所性の悪さを解決する。
• 従来の GPU におけるキャッシュブロッキング技術に起因する高いオーバーヘッドと非効率なメモリアクセスパターンの制限を克服する。
• パフォーマンスを損なわず、メモリフットプリントを増加させない GPU 最適化キャッシュブロッキング方式を設計する。
• 反復処理におけるサブグラフのスパarsity やワーキングセットサイズの変動に対応できるように、キャッシュブロッキングと負荷分散戦略を統合する。
• プルベースのカーネルにおける動的ワーキングセットの変化に応じてブロッキングを適応させることで、トレイバーサルベースのグラフアルゴリズムにおける効果的なキャッシュ利用を可能にする。

提案手法

• スパースなグローバルメモリアクセスを密度の高い部分和アクセスに置き換えることで、GPU 上でのメモリアクセス効率を向上させるスループット指向のキャッシュブロッキング（TOCAB）方式を提案する。
• 共有メモリに依存せず、GPU の最後レベルキャッシュ（LLC）をワーキングセットキャッシュとして利用することで、過剰なサブグラフ分割に起因するオーバーヘッドを回避する。
• 従来の CuSha などのフレームワークで使用される COO 形式と比較して、グローバルメモリ使用量を最小限に抑えるために CSR（圧縮スパースロー）形式を採用する。
• サブグラフのスパarsity を分析することで、TOCAB を動的負荷分散と連携させ、GPU のワープ間での負荷不均衡を最小限に抑える。
• 反復処理でワーキングセットサイズが著しく変化するプルモードのトレイバーサルカーネルにおいて、TOCAB を選択的に適用することでキャッシュの利点を最大化する。
• GPU メモリ階層とキャッシュラインサイズに合わせたデータアクセスパターンを整えることで、繰り返しキャッシュミスが発生しない静的キャッシュブロッキング戦略を設計する。

実験結果

リサーチクエスチョン

• RQ1 キャッシュに配慮した最適化フレームワークは、メモリフットプリントを増加させることなく、GPU におけるグラフ処理のデータ局所性を向上させ、メモリ遅延を低減できるか？
• RQ2 特に共有メモリが限られ、スパースグラフで大きな影響を受けるランダムアクセスが顕著な GPU のメモリ階層に、キャッシュブロッキングを効果的に適応できるか？
• RQ3 動的ワーキングセットサイズを示す不規則なグラフワークロードにおいて、キャッシュブロッキングと負荷分散を連携させた場合のパフォーマンスへの影響は何か？
• RQ4 TOCAB は、従来のキャッシュブロッキングおよび既存の GPU グラフフレームワークと比較して、どの程度の高速化とメモリ効率の向上を達成できるか？
• RQ5 トポロジードリブンのカーネルにおいて、TOCAB はプッシュおよびプルの両方向のグラフトレイサーサルアルゴリズムに効果的に適用できるか？

主な発見

• GraphCage は、多様な実世界のグラフにおいて、最先端の GPU グラフ処理フレームワークである Gunrock よりも最大 4× の高速化を達成した。
• GraphCage は、グラフアルゴリズムの手動最適化実装と比較して、2–4× のパフォーマンス向上を実現した。
• GraphCage は、COO 形式ではなく CSR 形式を採用することで、CuSha よりもメモリ消費量を削減し、COO の 2.5× のメモリオーバーヘッドを回避した。
• TOCAB 方式により、スパースアクセスを密度の高い部分和演算に変換することで、キャッシュミスが著しく減少し、メモリアクセス効率が向上した。
• TOCAB と負荷分散の連携により、スパarsity や動的ワーキングセットサイズに差があるグラフにおいても、効果的なパフォーマンススケーリングが可能になった。
• GraphCage は、最後レベルキャッシュ（LLC）が GPU グラフ処理においてワーキングセットキャッシュとして効果的に利用可能であることを示した。これは、一般的に LLC は同期のためのものであるとされるが、それとは対照的である。