[論文レビュー] Log(Graph): A Near-Optimal High-Performance Graph Representation

Maciej Besta, Dimitri Stanojevic+4 more|arXiv (Cornell University)|Oct 29, 2020

Graph Theory and Algorithms参考文献 85被引用数 5

ひとこと要約

Log(Graph) は、グラフ要素をその理論的保存下限（サイズの対数）に従ってビット単位の操作と簡潔データ構造を用いて符号化することで、高圧縮と低分解処理オーバーヘッドを達成する近似的最適なグラフ表現である。GAPBSと比較してグラフ保存容量を20–35％削減し、性能は同等または上回る。WebGraphと比較して処理速度で最大2倍の性能向上を達成しているのは、最小限の分解処理コストのおかげである。

ABSTRACT

Today's graphs used in domains such as machine learning or social network analysis may contain hundreds of billions of edges. Yet, they are not necessarily stored efficiently, and standard graph representations such as adjacency lists waste a significant number of bits while graph compression schemes such as WebGraph often require time-consuming decompression. To address this, we propose Log(Graph): a graph representation that combines high compression ratios with very low-overhead decompression to enable cheaper and faster graph processing. The key idea is to encode a graph so that the parts of the representation approach or match the respective storage lower bounds. We call our approach "graph logarithmization" because these bounds are usually logarithmic. Our high-performance Log(Graph) implementation based on modern bitwise operations and state-of-the-art succinct data structures achieves high compression ratios as well as performance. For example, compared to the tuned Graph Algorithm Processing Benchmark Suite (GAPBS), it reduces graph sizes by 20-35% while matching GAPBS' performance or even delivering speedups due to reducing amounts of transferred data. It approaches the compression ratio of the established WebGraph compression library while enabling speedups of up to more than 2x. Log(Graph) can improve the design of various graph processing engines or libraries on single NUMA nodes as well as distributed-memory systems.

研究の動機と目的

• 標準的なグラフ表現および圧縮方式が、処理中に余分なビットを浪費したり、高コストな分解処理を要するという非効率性を是正すること。
• 特に数兆本のエッジを有する大規模グラフに対して、性能を損なうことなくグラフ保存容量を削減すること。
• 頂点ID、オフセット、隣接データなどのグラフ要素の理論的保存下限に近い表現を設計すること。
• 分解処理コストを最小限に抑えつつ、高圧縮比を維持したまま、グラフデータへの高速かつ低オーバーヘッドのアクセスを可能にすること。
• 最適化されたレイアウトと符号化により、単一ノードおよび分散メモリシステム上のグラフ処理エンジンの効率を向上させること。

提案手法

• Log(Graph) は『グラフの対数化』を適用する。これは、集合 S に対して |S| の対数 ⌈log|S|⌉ に相当する最小ビット数で各グラフ要素を符号化することである。
• 現代のビット操作を用いて、対数的に符号化された要素から効率的にデータを抽出し、分解処理のオーバーヘッドを最小限に抑える。
• 整数線形計画法（ILP）のヒューリスティクスを用いて頂点IDの順序を再配置し、隣接配列の合計サイズを削減する。
• 簡潔データ構造をオフセット配列に適用することで、理論的下限に非常に近い保存容量を達成し、定数時間アクセスを可能にする。
• エッジカット（EC）と頂点カット（VC）の両方のパーティショニング方式を統合し、VCに比べてシャドウポインタの保存オーバーヘッドが少ないためECを優先する。
• POD/CMB のハイブリッドラベリング手法を用いてラベルの差を最小化し、圧縮性とアクセス効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ処理ワークロードにおいて、近似的最適な圧縮を達成しつつ、分解処理コストを低く抑えるグラフ表現は可能か？
• RQ2 情報理論的下限に基づくグラフ要素の対数符号化が、保存容量と性能にどのように影響を与えるか？
• RQ3 ILPに基づく頂点再配置により、グラフ表現における隣接配列のサイズをどの程度削減できるか？
• RQ4 保存容量とアクセスオーバーヘッドを考慮した場合、エッジカット（EC）と頂点カット（VC）の間で性能のトレードオフはどのようなものか？
• RQ5 オフセット配列のための簡潔データ構造は、空間計算量を O(n log n) から理論的下限に近い境界へ漸近的に低下させつつ、高速アクセスを可能にするか？

主な発見

• Log(Graph) は、チューニング済みの GAPBS 実装と比較して、グラフ保存容量を20–35％削減し、性能は同等または向上させた。
• 圧縮比は WebGraph とほぼ同等に保ちつつ、分解処理のオーバーヘッドが最小限であるため、グラフ処理速度で最大2倍の高速化を達成した。
• ILPに基づく頂点再配置により、隣接配列内のラベル差が小さくなり、RB に対して5–10％、DM に対して30–40％の圧縮向上が達成された。
• オフセット配列に簡潔データ構造を適用することで、空間計算量を O(n log n) から理論的下限に近い境界へ漸近的に低下させ、定数時間アクセスを実現した。
• 頂点カット（VC）はエッジカット（EC）よりも小さいカットを生成するが、VCに含まれるシャドウポインタの保存オーバーヘッドがその利点を相殺するため、ECが実用的である。
• パーティショニングのバランスを緩和（最大 D=10％まで）しても、カットサイズと最終的な保存容量に約1％の変化しか生じず、不均衡に強く、ロバストであることが示された。