[論文レビュー] CogDL: An Extensive Toolkit for Deep Learning on Graphs

Yukuo Cen, Zhenyu Hou+12 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Graph Neural Networks参考文献 53被引用数 12

ひとこと要約

CogDL は、最先端のモデルを用いてノード分類、リンク予測、グラフ分類をサポートする、PyTorchに基づくグラフディープラーニング用の包括的なツールキットです。グラフ埋め込みとグラフニューラルネットワークの両方の手法に対して、標準化されたトレーニングおよび評価パイプラインを提供することで、再現性のある実験を可能にします。

ABSTRACT

Graph representation learning aims to learn low-dimensional node embeddings for graphs. It is used in several real-world applications such as social network analysis and large-scale recommender systems. In this paper, we introduce CogDL, an extensive research toolkit for deep learning on graphs that allows researchers and developers to easily conduct experiments and build applications. It provides standard training and evaluation for the most important tasks in the graph domain, including node classification, link prediction, graph classification, and other graph tasks. For each task, it offers implementations of state-of-the-art models. The models in our toolkit are divided into two major parts, graph embedding methods and graph neural networks. Most of the graph embedding methods learn node-level or graph-level representations in an unsupervised way and preserves the graph properties such as structural information, while graph neural networks capture node features and work in semi-supervised or self-supervised settings. All models implemented in our toolkit can be easily reproducible for leaderboard results. Most models in CogDL are developed on top of PyTorch, and users can leverage the advantages of PyTorch to implement their own models. Furthermore, we demonstrate the effectiveness of CogDL for real-world applications in AMiner, which is a large academic database and system.

研究の動機と目的

• グラフ表現学習研究のための統合的かつ拡張可能なツールキットを提供すること。
• 主なグラフ学習タスクのための標準的なトレーニングおよび評価プロトコルをサポートすること。
• 一貫したモデル実装を通じてリーダーボードの結果の再現性を確保すること。
• PyTorch統合によるカスタムモデルの開発を容易にすること。
• AMiner学術知識ベースへの統合を通じて、実世界の適用可能性を示すこと。

提案手法

• CogDL は、ノードおよびグラフレベルの表現学習の両方のためのグラフ埋め込み手法とグラフニューラルネットワークを実装しています。
• グラフ埋め込み手法は、構造的性質を保持する形で、教師なしの方法で表現を学習します。
• グラフニューラルネットワークは、ノード特徴量を活用し、半教師ありまたは自己教師ありの設定で動作します。
• すべてのモデルは、柔軟性と拡張性を確保するため、PyTorchの上に構築されています。
• ノード分類、リンク予測、グラフ分類を含むタスクのための標準化されたトレーニングおよび評価ループを提供しています。
• 標準データセットを横断する一貫したベンチマークが可能になることで、モデルの再現性を支援しています。

実験結果

リサーチクエスチョン

• RQ1 統合されたツールキットは、どのようにグラフ表現学習研究とアプリケーション開発を簡素化できるか？
• RQ2 標準化されたトレーニングおよび評価パイプラインの使用が、モデルの再現性に与える影響は何か？
• RQ3 このツールキットは、教師なしおよび半教師ありのグラフ学習タスクを効果的にサポートできるか？
• RQ4 このツールキットは、大規模な知識グラフにおける実世界の応用を効率的にサポートできるか？
• RQ5 PyTorch統合は、モデル開発およびカスタマイズをどのように向上させるか？

主な発見

• CogDL は、ノード分類、リンク予測、グラフ分類を含む複数のグラフ学習タスクにおいて、最先端のモデルをサポートしています。
• 標準化されたトレーニングおよび評価手順を通じて、再現性のある結果を実現しています。
• CogDL の大多数のモデルは PyTorch の上に実装されており、容易なカスタマイズと拡張が可能です。
• このツールキットは、大規模な学術知識ベースである AMiner における実世界のタスクに成功裏に応用されています。
• CogDL のグラフ埋め込み手法は、教師なしの方法で構造的情報を効果的に保持しています。
• このツールキットのグラフニューラルネットワークは、半教師ありおよび自己教師ありの設定で、ノード特徴量を効果的に捉えています。