[論文レビュー] Bilinear Graph Neural Network with Node Interactions

Hongmin Zhu, Fuli Feng+5 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Graph Neural Networks参考文献 22被引用数 2

ひとこと要約

本稿では、隣接ノード同士のペアワイズ相互作用をモデル化することで、従来の重み付き和アグリゲーションを超えてノード表現学習を向上させる、新しいGNNフレームワークである双一次グラフニューラルネットワーク（BGNN）を提案する。BGNNは半教師ありノード分類タスクで性能を向上させ、公開ベンチマーク上ではGCNより1.6%、GATより1.5%高い精度を達成した。

ABSTRACT

Graph Neural Network (GNN) is a powerful model to learn representations and make predictions on graph data. Existing efforts on GNN have largely defined the graph convolution as a weighted sum of the features of the connected nodes to form the representation of the target node. Nevertheless, the operation of weighted sum assumes the neighbor nodes are independent of each other, and ignores the possible interactions between them. When such interactions exist, such as the co-occurrence of two neighbor nodes is a strong signal of the target node's characteristics, existing GNN models may fail to capture the signal. In this work, we argue the importance of modeling the interactions between neighbor nodes in GNN. We propose a new graph convolution operator, which augments the weighted sum with pairwise interactions of the representations of neighbor nodes. We term this framework as Bilinear Graph Neural Network (BGNN), which improves GNN representation ability with bilinear interactions between neighbor nodes. In particular, we specify two BGNN models named BGCN and BGAT, based on the well-known GCN and GAT, respectively. Empirical results on three public benchmarks of semi-supervised node classification verify the effectiveness of BGNN -- BGCN (BGAT) outperforms GCN (GAT) by 1.6% (1.5%) in classification accuracy.Codes are available at: this https URL.

研究の動機と目的

• 既存のGNNが隣接ノード同士が独立していると仮定しているという制限を解決すること。
• 隣接ノード特徴量間の双一次相互作用を明示的にモデル化することで、ノード表現学習を向上させること。
• GCNおよびGATアーキテクチャの両方を強化できる汎用的なグラフ畳み込み演算子を開発すること。
• 実世界の半教師ありノード分類タスクにおいて、隣接ノード相互作用を組み込む有効性を検証すること。

提案手法

• 隣接ノード特徴量の重み付き和とペアワイズの双一次相互作用を組み合わせた新しいグラフ畳み込み演算子を提案する。
• ペアワイズの隣接ノード表現間の相互作用スコアを計算する双一次相互作用モジュールを導入する。
• 双一次演算を2つの変種に適応する：GCNに基づくBGCNとGATに基づくBGATとして、元のアテンションおよびアグリゲーションメカニズムを保持する。
• 学習可能なパラメータを用いて双一次変換をパrameterizeし、エンド・トゥ・エンドの学習を可能にする。
• 深層表現学習のためのスタック可能なGNNアーキテクチャに新しい畳み込み層を適用する。
• ラベルのスパarsityを考慮した半教師ありノード分類に標準的な交差エントロピー損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 隣接ノード間のペアワイズ相互作用をモデル化することで、GNNにおけるノード表現学習が向上するか？
• RQ2 双一次相互作用の組み込みが、半教師ありノード分類タスクの性能に与える影響は何か？
• RQ3 隣接ノード相互作用が存在する状況で、BGNNは標準的なGCNおよびGATを上回るか？
• RQ4 単純なアグリゲーションと比較して、双一次相互作用機構の設計にBGNNはどれほど感受性を示すか？
• RQ5 双一次機構は、GCNやGATのような異なるGNNアーキテクチャに一般化可能か？

主な発見

• BGNNは、3つの公開された半教師ありノード分類ベンチマークにおいて、標準的なGCNおよびGATよりも顕著に分類精度を向上させた。
• BGCNは、同じベンチマークでGCNよりも1.6%の絶対的な精度向上を達成した。
• BGATは、同じベンチマークでGATよりも1.5%の絶対的な精度向上を達成した。
• 性能向上の結果から、標準的なGNNが無視する重要な構造的信号を、隣接ノード相互作用のモデル化が捉えていることが示された。
• 結果から、隣接ノード間の双一次相互作用が、グラフ表現学習に意味のあるインダクティブバイアスを提供することが妥当であることが検証された。
• BGCNおよびBGATを含むBGNNのコードは、再現性およびさらなる研究のため、公開されている。