[論文レビュー] Bipartite Graph Neural Networks for Efficient Node Representation Learning

Chaoyang He, Tian Xie+6 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Graph Neural Networks参考文献 45被引用数 15

ひとこと要約

本稿では、二部グラフ向けに特化したドメイン整合性があり、教師なしで、かつ効率的なGNNモデルであるBipartite Graph Neural Network (BGNN)を提案する。BGNNは、教師なしでメッセージ集約と情報融合を実現するためのInter-domain Message Passing (IDMP) と Intra-domain Alignment (IDA) を用いる。BGNNは高速な学習と低メモリ使用量を達成し、大規模な二部グラフデータセットにおいて強力なスケーラビリティと性能を示している。

ABSTRACT

Existing Graph Neural Networks (GNNs) mainly focus on general structures, while the specific architecture on bipartite graphs---a crucial practical data form that consists of two distinct domains of nodes---is seldom studied. In this paper, we propose Bipartite Graph Neural Network (BGNN), a novel model that is domain-consistent, unsupervised, and efficient. At its core, BGNN utilizes the proposed Inter-domain Message Passing (IDMP) for message aggregation and Intra-domain Alignment (IDA) towards information fusion over domains, both of which are trained without requiring any supervision. Moreover, we formulate a multi-layer BGNN in a cascaded manner to enable multi-hop relation modeling while enjoying promising efficiency in training. Extensive experiments on several datasets of varying scales verify the effectiveness of BGNN compared to other counterparts. Particularly for the experiment on a large-scale bipartite graph dataset, the scalability of our BGNN is validated in terms of fast training speed and low memory cost.

研究の動機と目的

• 推薦システムや知識グラフなど、実世界の応用で一般的な二部グラフに特化したGNNアーキテクチャの不足に対処すること。
• ラベル付きデータを必要とせず、2つの異なるノードドメインにおける表現学習を行う際のドメイン整合性を維持するモデルの開発。
• 計算コストが低く、カスケード型マルチレイヤー構造を用いることで、効率的なハイパーパaths関係モデリングを実現すること。
• 大規模な二部グラフデータセットにおける訓練速度とメモリ効率の観点から、提案モデルのスケーラビリティを検証すること。

提案手法

• BGNNは、二部グラフにおける2つの異なるノードドメイン間でメッセージを集約するために、Inter-domain Message Passing (IDMP) を用い、ドメイン間の情報伝達を可能にする。
• Intra-domain Alignment (IDA) を用いて、各ドメイン内での情報の整合と融合を図り、表現学習中にドメイン固有の特徴を保持する。
• モデルは、マルチホップ関係モデリングをサポートしつつ、訓練効率を維持するためのカスケード型マルチレイヤー構造として設計されている。
• IDMP と IDA の両方とも、ノードラベルを一切必要とせず、グラフ構造のみに依存して教師なしで学習される。
• アーキテクチャは、メモリ消費量を最小限に抑え、学習を高速化するように設計されており、大規模な二部グラフに適している。

実験結果

リサーチクエスチョン

• RQ1 ドメイン整合性を保ちながら、二部グラフにおけるノード表現を効果的に学習するにはどうすればよいか？
• RQ2 教師なしのメッセージ伝達とアライメント機構は、ラベル付きデータを一切必要とせず、競争力のある性能を達成できるか？
• RQ3 提案されたBGNNは、大規模な二部グラフデータセットにおいて、訓練速度とメモリ使用量の観点でどのようにスケーリングするか？
• RQ4 カスケード型BGNNアーキテクチャにおけるマルチホップ関係モデリングの影響は、表現品質にどのような影響を与えるか？

主な発見

• BGNNは、スケールが異なる複数の二部グラフデータセットにおいて、既存のGNN手法と比較して優れた性能を達成している。
• 大規模な二部グラフデータセットにおいて、BGNNは高速な訓練速度と低コストなメモリ使用量を示しており、そのスケーラビリティを確認している。
• IDMP と IDA の教師なし設計により、いかなる教師信号を必要とせず、効果的な表現学習が可能である。
• カスケード型マルチレイヤー構造は、計算効率を維持しつつ、マルチホップ関係を効果的にモデリングしている。