[論文レビュー] Legion: Automatically Pushing the Envelope of Multi-GPU System for Billion-Scale GNN Training

Jie Sun, Li Su+9 more|arXiv (Cornell University)|May 26, 2023

Caching and Content Delivery被引用数 5

ひとこと要約

Legion は、100億スケールのグラフニューラルネットワーク学習のためのキャッシュ使用を自動最適化するマルチGPU GNNトレーニングシステムです。NVLinkに配慮した階層的パーティショニングとホットネスに配慮した統合キャッシュを採用し、PCIeトラフィックを最小限に抑え、スループットを最大化することで、大規模グラフにおいて、最先端のシステム比最大4.32倍の高速化を達成しています。

ABSTRACT

Graph neural network(GNN) has been widely applied in real-world applications, such as product recommendation in e-commerce platforms and risk control in financial management systems. Several cache-based GNN systems have been built to accelerate GNN training in a single machine with multiple GPUs. However, these systems fail to train billion-scale graphs efficiently, which is a common challenge in the industry. In this work, we propose Legion, a system that automatically pushes the envelope of multi-GPU systems for accelerating billion-scale GNN training. First, we design a hierarchical graph partitioning mechanism that significantly improves the multi-GPU cache performance. Second, we build a unified multi-GPU cache that helps to minimize the PCIe traffic incurred by caching both graph topology and features with the highest hotness. Third, we develop an automatic caching management mechanism that adapts the multi-GPU cache plan according to the hardware specifications and various graphs to maximize the overall training throughput. Evaluations on various GNN models and multiple datasets show that Legion supports training billion-scale GNNs in a single machine and significantly outperforms the state-of-the-art cache-based systems on small graphs.

研究の動機と目的

• 大規模グラフ、特に100億スケールのグラフに対して、既存のキャッシュベースのGNNシステムのスケーラビリティの低さを是正すること。
• 既存システムにおけるキャッシュのリピートと粗いトポロジー管理の制限を克服すること。
• アクセス頻度に基づいて、グラフトポロジーと特徴量の両方を知的にキャッシュすることで、PCIeデータ転送を最小限に抑えること。
• ユーザーによるチューニングを必要とせず、多様なハードウェア構成とグラフワークロードに適応できるキャッシュ管理を自動化すること。
• 1台のマルチGPUマシン上で、100億スケールのグラフに対して効率的でエンドツーエンドのGNNトレーニングを可能にすること。

提案手法

• NVLinkに配慮した階層的グラフパーティショニングの提案：まずエッジカットを最小限に抑えるパーティショニングで、NVLinkクライークごとに排他的なパーティションを割り当て、次に各クライーク内でのGPUごとのトレーニング頂点のマッピングにハッシュパーティショニングを適用する。
• ホットネスに配慮した統合キャッシュの設計：頂点中心のデータ構造を用いて、特徴量とトポロジーの両方を格納し、アクセス頻度が最も高いデータを優先する。
• NVLinkクライーク内のGPU間でキャッシュを共有可能にすることで、メモリ利用効率を向上させ、重複データの保存を削減する。
• ハードウェア仕様とグラフ特性に基づいて動的にキャッシュ割り当てを計画する自動キャッシュ管理メカニズムの実装。
• 事前サンプリングフェーズ中にアクセス頻度に基づくホットネス指標を用い、キャッシュ配置を最適化し、キャッシュミスを最小限に抑える。
• GPUベースのグラフサンプリングと統合キャッシュを統合し、サンプリングおよび特徴抽出フェーズの両方を高速化する。

Figure 1: The workflow of 2-hop GraphSAGE training.

実験結果

リサーチクエスチョン

• RQ1 過剰なデータリピートを伴わずに、100億スケールのGNNトレーニングにおけるマルチGPUキャッシュのスケーラビリティをどのように向上できるか？
• RQ2 複数のGPUに跨る一貫性のある、GPUに効率的な形でのトポロジーと特徴量キャッシュ管理の最適な方法は何か？
• RQ3 ハードウェアやグラフ固有の知識に基づく手動チューニングを一切不要に、最適なキャッシュ計画を自動生成できるか？
• RQ4 NVLinkトポロジーに基づく階層的パーティショニングは、キャッシュパフォーマンスをどのように向上させ、PCIe帯域幅の圧力を軽減するか？
• RQ5 統合的でホットネスに配慮したキャッシュは、既存システムと比較して、大規模グラフにおけるトレーニングスループットをどの程度向上できるか？

主な発見

• Legion は、1台のマルチGPUマシン上で100億スケールのグラフのエンドツーエンドトレーニングをサポートし、従来のシステムのスケーラビリティの限界を克服した。
• 小規模および中規模のグラフにおいて、最先端のキャッシュベースのGNNシステム比最大4.32倍の高速化を達成し、優れたスループットを示した。
• 最小限のキャッシュ比でも、Legion は高いキャッシュヒットレート（図9および図11に示す）を維持しており、効率的なキャッシュ利用が可能であることを示している。
• 階層的パーティショニングによりキャッシュリピートが削減され、パーティション内データローカリティが保たれ、全体のメモリ効率が向上した。
• 自動キャッシュ管理メカニズムにより、ユーザーによるチューニングの必要がなく、多様なハードウェアとグラフワークロードに効果的に適応した。
• 統合キャッシュ設計により、ホットネスの高い頂点を優先してキャッシュすることで、PCIeトラフィックが削減され、データ転送オーバーヘッドが顕著に低減した。

(a) 2 GPUs per NVLink clique