[論文レビュー] AliGraph: A Comprehensive Graph Neural Network Platform

Rong Zhu, Kun Zhao+6 more|arXiv (Cornell University)|Feb 23, 2019

Advanced Graph Neural Networks参考文献 52被引用数 15

ひとこと要約

AliGraph は、大規模で、異種的で、属性付きで、動的グラフを対象とした包括的な GNN プラットフォームであり、分散ストレージ、サンプリング、ランタイムの最適化を備えており、GNN の学習と推論を高速化する。最先端のシステムと比較して、学習で最大 12× の高速化、グラフ構築で 10× の高速化を達成しており、自社開発の GNN モデルでは F1 スコアが 4.12%–17.19% 向上している。

ABSTRACT

An increasing number of machine learning tasks require dealing with large graph datasets, which capture rich and complex relationship among potentially billions of elements. Graph Neural Network (GNN) becomes an effective way to address the graph learning problem by converting the graph data into a low dimensional space while keeping both the structural and property information to the maximum extent and constructing a neural network for training and referencing. However, it is challenging to provide an efficient graph storage and computation capabilities to facilitate GNN training and enable development of new GNN algorithms. In this paper, we present a comprehensive graph neural network system, namely AliGraph, which consists of distributed graph storage, optimized sampling operators and runtime to efficiently support not only existing popular GNNs but also a series of in-house developed ones for different scenarios. The system is currently deployed at Alibaba to support a variety of business scenarios, including product recommendation and personalized search at Alibaba's E-Commerce platform. By conducting extensive experiments on a real-world dataset with 492.90 million vertices, 6.82 billion edges and rich attributes, AliGraph performs an order of magnitude faster in terms of graph building (5 minutes vs hours reported from the state-of-the-art PowerGraph platform). At training, AliGraph runs 40%-50% faster with the novel caching strategy and demonstrates around 12 times speed up with the improved runtime. In addition, our in-house developed GNN models all showcase their statistically significant superiorities in terms of both effectiveness and efficiency (e.g., 4.12%-17.19% lift by F1 scores).

研究の動機と目的

• 大規模で、異種的で、属性付きで、動的である実世界のグラフにおける GNN のスケーリングの課題に対処する。
• 生産環境ワークロードにわたる多様な GNN モデルの効率的な学習とデプロイを可能にする。
• ストレージ効率、サンプリング性能、ランタイム最適化の面で、既存システムの限界を克服する。
• 推薦や検索などの e コマース応用に特化した、既存および新規の GNN アルゴリズムをサポートする。
• 実世界の産業ワークロードを想定した分散環境において、高いパフォーマンスとスケーラビリティを達成する。

提案手法

• ストレージレイヤー（新しいグラフパーティショニングおよびインデキシング技術を備える）、サンプリングレイヤー（最適化されたオペレータを備える）、オペレータレイヤー（統一された計算論理を備える）の3層アーキテクチャを設計する。
• ランタイムに新しいキャッシュ戦略を実装し、重複計算を低減し、学習スループットを向上させる。
• I/O および通信オーバーヘッドを最小限に抑えるための効率的なパーティショニングとデータレイアウトを備えた分散グラフストレージシステムを構築する。
• 構造的および特徴情報の両方を保持しながらも、異種的かつ属性付きのグラフ構造を効率的に処理できる特殊なサンプリングオペレータを開発する。
• 計算とデータの局所化を実現し、ノード間通信を最小限に抑えることで、低遅延かつ高スループットな GNN 実行エンジンを最適化する。
• インダクティブな学習と動的更新の両方を最適化する自社開発の GNN モデル（例：ベイジアン GNN、GraphSAGE+ベイジアン）を統合する。

実験結果

リサーチクエスチョン

• RQ1 49000万以上の頂点と 68 億の辺を持つグラフに対して、低遅延を維持したまま、どのように効率的にスケーリングできるか？
• RQ2 分散環境における GNN 学習の高速化に最も効果的なシステムレベルの最適化は何か？
• RQ3 異種的かつ属性付きのグラフ情報を、1 つの埋め込みフレームワーク内で統合的かつ効率的に処理する方法は何か？
• RQ4 頻繁な構造的および属性の更新が行われる動的グラフに対して、インクリメンタルな GNN 学習を実用的に行えるか？
• RQ5 実世界の e コマース応用において、新規の GNN アーキテクチャは、既存のモデルと比較してどの程度パフォーマンスを向上させられるか？

主な発見

• AliGraph は PowerGraph よりも 10× 速くグラフを構築しており、49290万頂点、68200万辺のデータセットを 5 分で処理完了している。
• 新しいキャッシュ戦略のおかげで、メッセージパッシングにおける重複計算を低減し、40%–50% の高速化が達成された。
• 改善されたランタイム最適化により、ベースラインシステムと比較して、GNN 学習で最大 12× の高速化が実現された。
• 自社開発の GNN モデル（例：ベイジアン GNN）は、標準モデルと比較して、相対的に F1 スコアが 4.12%–17.19% 向上している。
• Taobao-small データセットにおいて、ベイジアン GNN は複数の評価指標でヒットリコールを 1%–3% 向上させた。
• 本プラットフォームはアリババで本番環境にデプロイされており、製品推薦やパーソナライズド検索を含む、重要なビジネスワークロードを支援している。