[論文レビュー] PyTorch Geometric Signed Directed: A Software Package on Graph Neural Networks for Signed and Directed Graphs

Yixuan He, Xitong Zhang+4 more|arXiv (Cornell University)|Feb 22, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

PyTorch Geometric Signed Directed (PyGSD) は、符号付きかつ有向グラフに特化した最初のオープンソースディープラーニングライブラリである。PyTorch Geometric を拡張し、専用の GNN モデル、データローダー、損失関数、評価指標を提供しており、実際のおよび合成された符号付き有向ネットワークにおいて、ノード分類、リンク予測、方向予測のタスクで、効率性とパフォーマンスの向上を実証している。

ABSTRACT

Networks are ubiquitous in many real-world applications (e.g., social networks encoding trust/distrust relationships, correlation networks arising from time series data). While many networks are signed or directed, or both, there is a lack of unified software packages on graph neural networks (GNNs) specially designed for signed and directed networks. In this paper, we present PyTorch Geometric Signed Directed (PyGSD), a software package which fills this gap. Along the way, we evaluate the implemented methods with experiments with a view to providing insights into which method to choose for a given task. The deep learning framework consists of easy-to-use GNN models, synthetic and real-world data, as well as task-specific evaluation metrics and loss functions for signed and directed networks. As an extension library for PyG, our proposed software is maintained with open-source releases, detailed documentation, continuous integration, unit tests and code coverage checks. The GitHub repository of the library is https://github.com/SherylHYX/pytorch_geometric_signed_directed.

研究の動機と目的

• 符号付きかつ有向ネットワークに特化した統合的でオープンソースのソフトウェアが不足しているという問題に取り組むこと。
• GNN モデル、データ生成、タスク固有の評価をサポートする包括的で保守可能で効率的なソフトウェアパッケージを提供すること。
• 実際の符号付き有向ネットワークにおける既存の GNN メソッドを評価・比較し、実務家がモデル選定の支援を得られるようにすること。
• PyTorch Geometric を、カスタム損失関数やメトリクスを含む、符号付きかつ有向グラフ学習のための専用コンponentで拡張すること。
• オープンソースリリース、ドキュメンテーション、継続的インテグレーション、ユニットテスト、コードカバレッジチェックを通じて、ソフトウェア品質を確保すること。

提案手法

• 本ライブラリは、DGCN、DiGCN、DiGCNIB、DiGCL、MagNet、SGCN、SNEA、SiGAT、SDGNN、SSSNET、MSGNN などの専用 GNN アーキテクチャを実装しており、これらは符号付きかつ有向エッジ重みに適応されている。
• ノード分類、リンク予測（3クラス分類および存在予測を含む）、符号付き有向グラフにおける方向予測のタスク固有の損失関数と評価指標を導入している。
• ベンチマーク用に合成データジェネレータと実世界のデータローダーを統合しており、CoraML、CiteSeer、Telegram、BitCoin-Alpha、BitCoin-OTC、Slashdot、Epinions、FiLL などのデータセットを含む。
• 効率性を高めるために、PyTorch Geometric の MessagePassing フレームワークを活用しており、最適化された実装を提供している。特に、オリジナルより最大 70% の実行時間短縮を実現した再実装された MagNet が含まれる。
• 厳密なソフトウェア工学の実践に基づいて構築されており、オープンソースリリース、詳細なドキュメンテーション、継続的インテグレーション、ユニットテスト、コードカバレッジチェックが実施されている。
• 実験では、標準的な分割（テストエッジ 20%）と、論文のデフォルトハイパーパrameterを採用しており、複数のデータセットとタスクにおいて、精度と実行時間の両方でパフォーマンスを測定している。

実験結果

リサーチクエスチョン

• RQ1 符号付きかつ有向グラフにおけるノード分類タスクで、どの GNN アーキテクチャが最も優れた性能を示すか？
• RQ2 符号付きかつ有向エッジを含むリンク予測タスクにおいて、異なる GNN モデルはどのように比較されるか？
• RQ3 PyGSD の実装は、オリジナルのコードベースと比較して、計算効率にどの程度優れているか？
• RQ4 専用の損失関数とメトリクスは、符号付き有向グラフ学習タスクのパフォーマンスにどのように寄与するか？
• RQ5 実世界の符号付き有向ネットワークにおいて、精度と推論速度のバランスが最良となるモデルアーキテクチャはどれか？

主な発見

• MagNet の実行時間は、オリジナル実装と比較して最大 70% 減少し、ノード分類タスクにおいて、Cornell データセットで 21 秒（オリジナルは 73 秒）を達成した。
• DiGCN と DiGCNIB は、ノード分類タスクにおいて、Cornell、Texas、Wisconsin のほとんどのデータセットで最も短い推論時間（1 フォールドあたり 10 秒未満）を記録した。
• FiLL データセット（42 個のネットワーク）におけるリンク予測では、SGCN の平均実行時間は 591 秒であるのに対し、DiGCN は 30 秒で実行され、特定のモデルで顕著な効率性向上が確認された。
• SGCN、SNEA、SiGAT、SDGNN、SSSNET、MSGNN のための提案された損失関数は、すべてのタスクで競争力あるパフォーマンスを発揮し、標準ベンチマークで高い精度を達成した。
• DiGCL の実装は、Telegram データセットにおける方向予測で 37 秒を記録し、オリジナル実装よりも高速でありながら、競争力ある精度を維持した。
• ソフトウェアのモジュラー設計と包括的なテストにより、信頼性と再現性が確保されており、コードカバレッジと継続的インテグレーションのチェックが完全に実施されている。