[論文レビュー] Bilinear Graph Neural Network with Neighbor Interactions

Hongmin Zhu, Fuli Feng+5 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Graph Neural Networks参考文献 39被引用数 14

ひとこと要約

本稿では、二重線形アグレゲータを用いて隣接ノード間の対照的相互作用を明示的にモデル化することで、ノード表現を向上させる、新しいGNNフレームワークである双一次グラフニューラルネットワーク（BGNN）を提案する。線形アグレゲーションと二重線形相互作用を組み合わせることで、Cora、Citeseer、PubmedデータセットにおいてGCNおよびGATよりも1.6%および1.5%の精度向上を達成した。

ABSTRACT

Graph Neural Network (GNN) is a powerful model to learn representations and make predictions on graph data. Existing efforts on GNN have largely defined the graph convolution as a weighted sum of the features of the connected nodes to form the representation of the target node. Nevertheless, the operation of weighted sum assumes the neighbor nodes are independent of each other, and ignores the possible interactions between them. When such interactions exist, such as the co-occurrence of two neighbor nodes is a strong signal of the target node's characteristics, existing GNN models may fail to capture the signal. In this work, we argue the importance of modeling the interactions between neighbor nodes in GNN. We propose a new graph convolution operator, which augments the weighted sum with pairwise interactions of the representations of neighbor nodes. We term this framework as Bilinear Graph Neural Network (BGNN), which improves GNN representation ability with bilinear interactions between neighbor nodes. In particular, we specify two BGNN models named BGCN and BGAT, based on the well-known GCN and GAT, respectively. Empirical results on three public benchmarks of semi-supervised node classification verify the effectiveness of BGNN -- BGCN (BGAT) outperforms GCN (GAT) by 1.6% (1.5%) in classification accuracy.Codes are available at: https://github.com/zhuhm1996/bgnn.

研究の動機と目的

• 既存のGNNが隣接ノードが独立していると仮定しているという限界を解決する。
• 隣接ノード間のペアワイズ相互作用を明示的に捉えることで、ノード表現学習を向上させる。
• モデルの安定性と効率性を確保するため、順列不変かつ線形スケーラブルな二重線形アグレゲータを設計する。
• GCNおよびGATアーキテクチャに二重線形アグレゲータを統合することで、BGCNおよびBGATの2つのBGNNバージョンを開発する。
• 標準的な半教師付きノード分類ベンチマークにおいて、BGNNの有効性を検証する。

提案手法

• 学習可能な重み行列を用いて、隣接ノード表現間のペアワイズ相互作用を計算する二重線形アグレゲータを提案する。
• 学習可能な融合パラメータαを介して、標準的な線形アグレゲーション（例：GCNまたはGATのアテンション）と二重線形アグレゲータを統合する。
• すべての隣接ペアを対称的に処理することで順列不変性を確保し、隣接ノードの順序変更に対しても安定性を維持する。
• 高次元の展開を避けて、ペアワイズ結合に限定することで、線形計算複雑度を維持する。
• BGCNおよびBGATを、GCNおよびGATの元のアグレゲータを二重線形強化版に置き換えたBGNNの具体的な実装として設計する。
• 1-hopおよび2-hopの隣接ノード相互作用のバランスを取るために、2番目の学習可能なパラメータβを用いたハイパースコープ隣接アグレゲーション戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 隣接ノード間のペアワイズ相互作用をモデル化することで、GNNにおけるノード表現学習が向上するか？
• RQ2 標準的な線形アグレゲータと比較して、二重線形アグレゲータはグラフデータ内の複雑な非線形パターンをどれほど効果的に捉えられるか？
• RQ3 提案されたBGNNフレームワークは、表現力の向上を図りながらも、順列不変性と線形計算複雑度を維持するか？
• RQ4 疎結合ノードやラベル一貫性を持つ隣接ノードにおいて、二重線形相互作用はどの程度性能向上に寄与するか？
• RQ5 線形アグレゲーションと二重線形アグレゲーションの最適なバランスは何か？また、ハイパーパラメータαおよびβはモデル性能にどのように影響するか？

主な発見

• Cora、Citeseer、Pubmedデータセットにおいて、BGCNおよびBGATはGCNおよびGATよりも分類精度で1.6%および1.5%の向上を達成した。
• 二重線形アグレゲータは、疎結合ノードにおいて顕著な性能向上を示しており、低密度の近傍において有効であることが示された。
• αを0または1から離れた値にチューニングすることで最適な性能が達成され、二重線形アグレゲータが線形アグレゲーションの補完として最適に機能することが示された。
• 1-hopおよび2-hopの両方の隣接ノード相互作用を組み合わせることで（βを介して）、1hopのみを用いる場合よりも高い性能が得られ、マルチホップ相互作用モデリングの利点が確認された。
• BGCN-Tはノイズ除去能力が向上し、ラベル一貫性を持つ隣接ノードを持つノードを正しく分類すると同時に、一貫性のない隣接ノードからの関係のない情報をフィルタリングした。
• 隣接ノードが一貫したラベルを持つ場合に特に二重線形アグレゲータが有効であることが示され、個々の特徴を超えた意味のある構造的パターンを捉えていることが示唆された。