[論文レビュー] GCNear: A Hybrid Architecture for Efficient GCN Training with Near-Memory Processing

Zhe Xiao Zhou, Cong Li+2 more|arXiv (Cornell University)|Oct 31, 2021

Advanced Graph Neural Networks被引用数 8

ひとこと要約

GCNearは、グラフ畳み込みニューラルネットワーク（GCN）学習を高速化するハイブリッドニアメモリアーキテクチャを提案する。このアーキテクチャでは、メモリ集約的なReduce演算をオン-DIMM NMEに、計算集約的なUpdate演算を専用CAEにオフロードすることで、大規模グラフ上でも高い帯域幅効率とスケーラビリティを実現する。ワークロードに応じたパーティショニングとグラフの不規則性への最適化により、学習遅延とメモリ圧力を低減する。

ABSTRACT

Recently, Graph Convolutional Networks (GCNs) have become state-of-the-art algorithms for analyzing non-euclidean graph data. However, it is challenging to realize efficient GCN training, especially on large graphs. The reasons are many-folded: 1) GCN training incurs a substantial memory footprint. Full-batch training on large graphs even requires hundreds to thousands of gigabytes of memory to buffer the intermediate data for back-propagation. 2) GCN training involves both memory-intensive data reduction and computation-intensive features/gradients update operations. Such a heterogeneous nature challenges current CPU/GPU platforms. 3) The irregularity of graphs and the complex training dataflow jointly increase the difficulty of improving a GCN training system's efficiency. This paper presents GCNear, a hybrid architecture to tackle these challenges. Specifically, GCNear adopts a DIMM-based memory system to provide easy-to-scale memory capacity. To match the heterogeneous nature, we categorize GCN training operations as memory-intensive Reduce and computation-intensive Update operations. We then offload Reduce operations to on-DIMM NMEs, making full use of the high aggregated local bandwidth. We adopt a CAE with sufficient computation capacity to process Update operations. We further propose several optimization strategies to deal with the irregularity of GCN tasks and improve GCNear's performance. We also propose a Multi-GCNear system to evaluate the scalability of GCNear.

研究の動機と目的

• 大規模グラフ上でのフルバッチGCN学習における高いメモリフットプリントを解決すること。これは、数百〜数千ギガバイトのメモリを要することがある。
• GCN学習におけるメモリ集約的Reduceと計算集約的Updateの不均一な混合が引き起こすパフォーマンスボトルネックを克服すること。
• 従来のCPU/GPUプラットフォームでは最適化が困難な、GCN学習における不規則なデータアクセスパターンと複雑なデータフローを扱うこと。
• 高帯域幅のオン-DIMMプロセッシングを活用し、学習効率を向上させ、システム遅延を低減するスケーラブルなニアメモリアーキテクチャを設計すること。

提案手法

• 中間GCN学習データの保存に、スケーラブルで大容量のパッケージ内メモリを提供するDIMMベースのメモリシステムを採用する。
• GCN学習をメモリ集約的Reduce演算（例：勾配集約）と計算集約的Update演算（例：重み更新）に分類する。
• 高帯域幅の局所メモリを活用し、オフチップメモリトラフィックを削減するため、Reduce演算をオン-DIMMのニューラルメモリエンジン（NME）にオフロードする。
• 計算能力が十分に確保されたCompute-Attached Engine（CAE）を用いてUpdate演算を処理し、メモリバウンドタスクから分離する。
• グラフの不規則性を管理し、ハイブリッド実行モデルにおけるデータフロー効率を向上させる最適化戦略を導入する。
• 複数のDIMMノードを用いたスケーラビリティ評価を目的として、Multi-GCNearシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドニアメモリアーキテクチャは、GCN学習ワークロードをメモリ集約的フェーズと計算集約的フェーズに効果的にパーティショニングすることで、パフォーマンスを最大限に引き出せるか？
• RQ2 オン-DIMM NMEは、大規模GCNの学習において、どれほどメモリ帯域幅の圧力を軽減し、学習スループットを向上させられるか？
• RQ3 Update演算にCAEを統合することで、従来のCPU/GPUオフロードと比較して、全体のシステム効率はどの程度向上するか？
• RQ4 GCN学習におけるグラフ構造データ固有の不規則なデータアクセスパターンに対処するために、どのような最適化が必要か？
• RQ5 複数のDIMMノードを導入した場合、Multi-GCNearシステムの学習パフォーマンスとメモリ容量は、どのようにスケーリングするか？

主な発見

• GCNearは、メモリ集約的Reduce演算をオン-DIMM NMEにオフロードすることで、高帯域幅の局所メモリを活用し、メモリ帯域幅の圧力を顕著に軽減する。
• ReduceとUpdateワークロードの分離により、専用ハードウェアコンponentの負荷バランスと利用効率が向上する。
• CAEを用いたUpdate演算処理により、重み更新フェーズの計算集約的処理を十分に処理できる計算能力が得られ、効率的に処理できる。
• グラフの不規則性に対する最適化戦略により、データフロー効率が向上し、ハイブリッドプロセッシングパイプラインにおけるアイドルタイムが削減される。
• Multi-GCNearシステムは強力なスケーラビリティを示し、DIMMノードを増やすことでより大きなグラフを扱い、より高い学習スループットを達成できる。
• 特に大規模グラフ上のフルバッチ学習において、従来のCPU/GPUプラットフォームと比較して、学習効率が顕著に向上する。