[論文レビュー] GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily

Lun Du, Xiaozhou Shi+5 more|arXiv (Cornell University)|Oct 29, 2021

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿では、グラフ内の同型性と異型性を同時にモデル化するために、ゲート付きバイカーネル機構を用いた新しいグラフニューラルネットワーク、GBK-GNNを提案する。類似するノードペアと類似しないノードペアのための別々のカーネルを学習し、適切なカーネルを選択するための選択ゲートを導入することで、同型性と異型性の性質が混合したデータセットにおいて、最先端のGNNよりも顕著な性能向上を達成した。

ABSTRACT

Graph Neural Networks (GNNs) are widely used on a variety of graph-based machine learning tasks. For node-level tasks, GNNs have strong power to model the homophily property of graphs (i.e., connected nodes are more similar) while their ability to capture the heterophily property is often doubtful. This is partially caused by the design of the feature transformation with the same kernel for the nodes in the same hop and the followed aggregation operator. One kernel cannot model the similarity and the dissimilarity (i.e., the positive and negative correlation) between node features simultaneously even though we use attention mechanisms like Graph Attention Network (GAT), since the weight calculated by attention is always a positive value. In this paper, we propose a novel GNN model based on a bi-kernel feature transformation and a selection gate. Two kernels capture homophily and heterophily information respectively, and the gate is introduced to select which kernel we should use for the given node pairs. We conduct extensive experiments on various datasets with different homophily-heterophily properties. The experimental results show consistent and significant improvements against state-of-the-art GNN methods.

研究の動機と目的

• 局所的なサブグラフで一貫しない隣接ノードラベルのパターンを示すグラフにおいて、従来のGNNが同型性と異型性の両方をモデル化する能力に制限を受けることに対処する。
• GCNなどの標準的なGNNが、すべての隣接ノードに一様なカーネルを適用するため、同型性レベルが混合したノードでは失敗することを特定する。
• ノードペアの類似性に基づいて、同型性最適化カーネルと異型性最適化カーネルの間で適応的に切り替え可能なモデルを提案する。
• 同型性が一様に分布しないグラフ、すなわち同型的および異型的な両方のグラフにおいて、ノード分類の性能を向上させる。
• 選択ゲートが完全に正確である必要がないことにより、ゲート予測誤差に対しても頑健であることが示され、性能向上が達成されることを実証する。

提案手法

• 同型的ノードペア（類似ラベル）に最適化された、異型的ノードペア（類似しないラベル）に最適化された、2つの異なる学習可能なカーネルを備えたバイカーネル特徴変換機構を導入する。
• ノードペアが同型的または異型的である確率を、特徴量とラベルの類似性に基づいて計算する、学習可能な選択ゲートを設計する。
• メッセージパッシング中に適切なカーネルに動的にアテンションを向けることで、各隣接ノードペアに対する適応的集約を可能にする。
• 最終的なノード表現を、ゲートによって決定される重み付き和として定式化し、2つのカーネル変換済み隣接特徴量の加重平均とする。
• ノード分類のための交差エントロピー損失を用いて、エンドツーエンドで訓練し、カーネルと選択ゲートを同時に最適化する。
• 訓練の安定化と多様なグラフ構造への一般化性能の向上のため、残差接続と正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ノードレベルの同型性比が局所的な近傍部で著しく変動するグラフにおいて、GNNモデルは同型性と異型性の両方を効果的に学習できるか？
• RQ2 混合された同型性・異型性パターンを示すグラフにおいて、ゲート付きバイカーネル機構は、すべての隣接ノードペアに1つのカーネルを適用する標準的なGNNを上回るか？
• RQ3 特に高頻度に異型性が存在するグラフにおいて、GBK-GNNの性能はゲート予測の不正確さに対してどれほど頑健か？
• RQ4 提案手法は、強い同型性と強い異型性を示す両方のグラフタイプに一般化可能か？
• RQ5 現実世界のグラフのようにノード特徴量に欠損やノイズがある状況でも、モデルの性能向上が維持されるか？

主な発見

• GBK-GNNは、同型性・異型性の性質が異なる多様なデータセットにおいて、最先端のGNNと比較して一貫した顕著な性能向上を達成した。
• Coraデータセットでは、GBK-GNNはGCNや他の最先端モデルを上回った。特に、同型性比（NHR）が20〜80％の混合同型性レベルを示すノードにおいては、GCNの性能が急激に低下するが、GBK-GNNはその影響を軽減した。
• TexasおよびCornellデータセット（高頻度の異型性が特徴）では、これらのグラフにおいてゲートの正確性が低いにもかかわらず、GBK-GNNはすべてのベースラインより高いノード分類精度を達成した。
• 選択ゲートは意味のあるパターンを学習した：同型的グラフでは高い正確性を達成し、異型的グラフでは中程度から高い正確性を示しており、同型的と異型的ペアの区別が効果的に行われた。
• モデルの性能はゲート予測誤差に対しても頑健である。ゲートが完全に正確でない場合でも、2つのカーネルの相補的性質のおかげで、全体の分類精度が向上した。
• アブレーションスタディにより、バイカーネル構造と選択ゲートの両方が不可欠であることが確認された。いずれのコンponentsを削除しても顕著な性能低下が生じた。