[論文レビュー] GraphIt: A High-Performance DSL for Graph Analytics

Yunming Zhang, Mengjiao Yang+4 more|arXiv (Cornell University)|May 2, 2018

Graph Theory and Algorithms参考文献 48被引用数 10

ひとこと要約

GraphIt は、アルゴリズムの記述とパフォーマンス最適化のスケジューリングを分離することで、局所性、並列性、作業効率性の間の複雑なトレードオフを探索できる、高パフォーマンスなドメイン固有言語（DSL）である。32回の実験のうち24回で、6つの最先端の共有メモリフレームワークを上回り、最大4.8倍の高速化を達成し、コードサイズを最大10倍まで削減する。

ABSTRACT

The performance bottlenecks of graph applications depend not only on the algorithm and the underlying hardware, but also on the size and structure of the input graph. Programmers must try different combinations of a large set of techniques to develop the best implementation for a specific algorithm and type of graph. Existing graph frameworks lack flexibility, supporting only a limited set of optimizations. This paper introduces GraphIt, a new DSL for graph computations that generates fast implementations for algorithms with different performance characteristics running on graphs with different sizes and structures. GraphIt separates what is computed (algorithm) from how it is computed (schedule). Programmers specify the algorithm using an algorithm language, and performance optimizations are specified using a scheduling language. The algorithm language simplifies expressing the algorithms. We formulate graph optimizations, including edge traversal direction, data layout, parallelization, cache, NUMA, and kernel fusion optimizations, as tradeoffs among locality, parallelism, and work-efficiency. The scheduling language enables programmers to easily search through this complicated tradeoff space by composing together optimizations. We also built an autotuner to automatically find high-performance schedules. The compiler uses a new scheduling representation, the graph iteration space, to model, compose, and ensure the validity of the large number of optimizations. GraphIt outperforms the next fastest of six state-of-the-art shared-memory frameworks (Ligra, Green-Marl, GraphMat, Galois, Gemini, and Grazelle) on 24 out of 32 experiments by up to 4.8$ imes$, and is never more than 43% slower than the fastest framework on the other experiments. GraphIt also reduces the lines of code by up to an order of magnitude compared to the next fastest framework.

研究の動機と目的

• アルゴリズム的ボトル neck、ハードウェア特性、グラフ構造の違いに起因するグラフ解析における高パフォーマンス達成の課題に対処すること。
• 最適化の選択肢が限定的で、パフォーマンスチューニングの柔軟性に欠ける既存のグラフフレームワークやDSLの限界を克服すること。
• エッジ走査方向、データレイアウト、並列化などの最適化を、合成可能なスケジューリング言語を通じて、体系的に探索できるようにすること。
• 低レベルの最適化選択肢からアルゴリズム論理を分離することで、高パフォーマンスなグラフコードの記述の複雑さを軽減すること。
• 自動チューナーを提供し、手動でのチューニング作業を最小限に抑えて、高パフォーマンスなスケジュールを自動で発見できること。

提案手法

• アルゴリズム記述とスケジューリングを分離するため、グラフ論理を表現するアルゴリズム言語とパフォーマンス最適化を記述するスケジューリング言語の2つの別々の言語を用いる。
• エッジ走査方向、頂点データレイアウト、キャッシュおよびNUMA対応、カーネル結合などの最適化を、局所性、並列性、作業効率性のトレードオフとしてモデル化する。
• 複雑な最適化シーケンスのモデル化、合成、検証を可能にする、新しいコンパイラ表現「グラフイテレーションスペース」を導入する。
• 複数のスケジューリングディレクティブを連結することで、最適化の多様なトレードオフを探索できるように、最適化の合成を可能にする。
• 与えられたアルゴリズムと入力グラフに対して、高パフォーマンスな構成を自動的に探索するスケジュール空間の探索を実行する自動チューナーを統合する。
• 高度なコード生成およびコンパイル技術を用いて、高レベルのGraphItプログラムから高度に最適化されたC++コードを生成する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてDSLがアルゴリズム論理とパフォーマンス最適化を効果的に分離し、最適化空間の柔軟な探索を可能にできるか？
• RQ2 エッジ走査方向、データレイアウト、並列化などの最適化セットを、どのように体系的に合成することで、多様なグラフタイプにわたる高パフォーマンスを達成できるか？
• RQ3 自動チューナーを備えたコンパイラベースのアプローチが、さまざまなワークロードにおいて、手動で最適化された実装を上回るパフォーマンスを達成できるか？
• RQ4 統一されたDSLは、コードの複雑さを大幅に低減しつつ、専用フレームワークと同等またはそれ以上のパフォーマンスを維持または上回ることができるか？
• RQ5 グラフイテレーションスペース表現は、複雑なグラフアルゴリズムにおける正しく、合成可能な最適化シーケンシングをどのように可能にするか？

主な発見

• GraphIt は、6つの最先端の共有メモリフレームワーク（Ligra, Green-Marl, GraphMat, Galois, Gemini, Grazelle）のうち、32のベンチマーク実験の24回で最速を記録し、最大4.8倍の高速化を達成した。
• 残りの8回の実験では、最速のフレームワークよりも43％未満の遅延に抑えられ、多様なワークロードにわたる一貫性ある競争力を持つことを示した。
• GraphIt は、次に速いフレームワークと比較して、グラフアルゴリズムを実装するにあたり、コードの行数を最大10倍まで削減した。これは、開発者の生産性を著しく向上させた。
• GraphIt の自動チューナーは、熟練したチューニングを要せずとも、高パフォーマンスなスケジュールを効果的に特定できた。これは、最適化空間における自動探索の有効性を示している。
• アルゴリズムとスケジュールの分離により、スケーラブルで合成可能な最適化が可能となり、グラフイテレーションスペース表現により、複雑な最適化合成における正しさが保証された。
• GraphIt のスケジューリング言語により、エッジ走査方向やカーネル結合といった、一般言語や既存のDSLでは扱いにくい低レベル最適化を、広範囲にわたって表現・合成できるようになった。