[論文レビュー] Efficient Graph Deep Learning in TensorFlow with tf_geometric

Jun Hu, Shengsheng Qian+5 more|arXiv (Cornell University)|Jan 27, 2021

Advanced Graph Neural Networks参考文献 34被引用数 9

ひとこと要約

本論文では、TensorFlow 1.x および 2.x の両方をサポートする、効率的なグラフディープラーニングを可能にする TensorFlow 互換ライブラリである tf_geometric を紹介する。このライブラリは、メッセージパッシング、グラフプーリング、ミニバッチ学習などのグラフ演算を最適化したカーネルライブラリを提供するとともに、代表的な GNN の実装を備えており、ノード分類およびグラフ分類タスクにおいて、公式ベンチマークと同等のパフォーマンスを達成している。

ABSTRACT

We introduce tf_geometric, an efficient and friendly library for graph deep learning, which is compatible with both TensorFlow 1.x and 2.x. tf_geometric provides kernel libraries for building Graph Neural Networks (GNNs) as well as implementations of popular GNNs. The kernel libraries consist of infrastructures for building efficient GNNs, including graph data structures, graph map-reduce framework, graph mini-batch strategy, etc. These infrastructures enable tf_geometric to support single-graph computation, multi-graph computation, graph mini-batch, distributed training, etc.; therefore, tf_geometric can be used for a variety of graph deep learning tasks, such as transductive node classification, inductive node classification, link prediction, and graph classification. Based on the kernel libraries, tf_geometric implements a variety of popular GNN models for different tasks. To facilitate the implementation of GNNs, tf_geometric also provides some other libraries for dataset management, graph sampling, etc. Different from existing popular GNN libraries, tf_geometric provides not only Object-Oriented Programming (OOP) APIs, but also Functional APIs, which enable tf_geometric to handle advanced graph deep learning tasks such as graph meta-learning. The APIs of tf_geometric are friendly, and they are suitable for both beginners and experts. In this paper, we first present an overview of tf_geometric's framework. Then, we conduct experiments on some benchmark datasets and report the performance of several popular GNN models implemented by tf_geometric.

研究の動機と目的

• スパースで不規則なグラフデータにおける効率的かつスケーラブルなグラフニューラルネットワーク（GNN）の実装の課題に対処すること。
• TensorFlow 1.x および 2.x の両方をサポートする統合的で高パフォーマンスなグラフディープラーニングフレームワークを提供すること。
• トランスダクティブおよびインダクティブなノード分類、リンク予測、グラフ分類を含む、多様な GNN タスクをサポートすること。
• 初心者から上級者まで、複雑な GNN ワークロードに取り組める、オブジェクト指向型と関数型の両方の API を提供すること。
• メッセージアグリゲーションやグラフプーリングといった GNN のコア演算を、カスタムカーネルライブラリおよび効率的なデータ構造によって最適化すること。

提案手法

• スパースで不規則なグラフデータを効率的に処理できるグラフデータ構造とマップリダスフレームワークを設計する。
• 大規模なグラフにおける学習を効率的なサンプリングとバッチ処理によって可能にする、グラフミニバッチ戦略を実装する。
• 単一グラフ、マルチグラフ、分散学習のワークロードをカバーするカーネルライブラリスタックを導入する。
• グラフメタラーニングやモデルの合成といった高度なユースケースを可能にするために、OOP および関数型 API の両方をサポートする。
• メッセージパッシングや階層的グラフプーリング（例：DiffPool、SAGPool h）を含む、GNN のコアコンponent の最適化実装を提供する。
• データセット管理、グラフサンプリング、クロスバリデーションを支援する補助ツールを統合して、モデル評価のワークフローを簡素化する。

実験結果

リサーチクエスチョン

• RQ1 TensorFlow を用いて、スパースで不規則なグラフデータにおけるグラフニューラルネットワークをどのように効率的に実装できるか？
• RQ2 単一グラフおよびマルチグラフ環境におけるスケーラブルな GNN 学習をサポートするために、どのようなシステムレベルの最適化が必要か？
• RQ3 OOP および関数型 API の両方を備えた統合ライブラリは、初心者向けと上級者向けの両方の GNN リサーチを効果的にサポートできるか？
• RQ4 tf_geometric で実装された GNN モデルのパフォーマンスは、標準ベンチマークにおいて公式実装と比べてどの程度か？
• RQ5 アーキテクチャの変更（例：平均-最大プーリング）は、グラフ分類タスクにおけるパフォーランスをどの程度向上させ得るか？

主な発見

• tf_geometric はノード分類タスクにおいて競争力のあるパフォーマンスを達成しており、Cora、CiteSeer、PubMed における GCN、GAT、SGC、APPNP、DGI モデルの結果が公式の結果と一致またはそれに近い。
• Cora データセットにおいて、tf_geometric の GAT モデルは 83.0±0.8% の精度を達成しており、Velickovic 他 (2018) が報告した 83.0% と整合的である。
• グラフ分類タスクでは、Mean-Max Pool モデルが NCI1 で 76.03±0.7% の精度を達成しており、一部のケースで Set2Set や SortPool よりも優れた性能を示した。
• このライブラリの最適化されたアーキテクチャにより、特に複数層にわたる平均-最大プーリングなどの強化されたプーリング戦略を用いる際、ベースライン実装よりも優れたパフォーマンスが得られた。
• OOP および関数型 API の両方の統合により、メタラーニングやモジュラーな GNN デザインといった高度なタスクを柔軟にサポートできる。
• このライブラリは分散学習およびマルチグラフ計算を効果的にサポートしており、多様な GNN ワークロードにおけるスケーラビリティを示している。