[論文レビュー] Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective

Rongzhe Wei, Haoteng Yin+3 more|arXiv (Cornell University)|Jul 22, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文はベイジアン推論の観点からグラフニューラルネットワーク（GNNs）を提示し、文脈的スチュアティックブロックモデル（CSBM）下でのノード分類において最適な最大後確信度（MAP）推定器が、ReLU活性化を伴う隣接特徴量集約と非線形属性変換を内蔵するGNNに類似したアーキテクチャを自然に導くことを示している。主な発見は、ノード属性がグラフ構造に対して著しく情報量が多い場合にのみ非線形性が性能向上に寄与することであり、これが実際のGNNが線形ベースラインに対してあまり向上しない理由を説明している。

ABSTRACT

Graph neural networks (GNNs) have shown superiority in many prediction tasks over graphs due to their impressive capability of capturing nonlinear relations in graph-structured data. However, for node classification tasks, often, only marginal improvement of GNNs over their linear counterparts has been observed. Previous works provide very few understandings of this phenomenon. In this work, we resort to Bayesian learning to deeply investigate the functions of non-linearity in GNNs for node classification tasks. Given a graph generated from the statistical model CSBM, we observe that the max-a-posterior estimation of a node label given its own and neighbors' attributes consists of two types of non-linearity, a possibly non-linear transformation of node attributes and a ReLU-activated feature aggregation from neighbors. The latter surprisingly matches the type of non-linearity used in many GNN models. By further imposing Gaussian assumption on node attributes, we prove that the superiority of those ReLU activations is only significant when the node attributes are far more informative than the graph structure, which nicely matches many previous empirical observations. A similar argument can be achieved when there is a distribution shift of node attributes between the training and testing datasets. Finally, we verify our theory on both synthetic and real-world networks.

研究の動機と目的

• ノード分類タスクにおいて非線形GNNが線形モデルに対して常に僅かな改善しか示さない理由を理解すること。
• GNNにおける非線形性が線形伝搬に対して意味的な優位性を発揮する統計的条件を調査すること。
• 特に特徴表現とモデル一般化の観点から、非線形性の役割をベイジアン推論の観点から形式化すること。
• ノード属性の分布シフトがモデルの転送性に与える影響を分析すること、特に線形と非線形GNNの比較を通じて。
• 理論的予測を合成および実世界のグラフ上で実証的に検証すること。

提案手法

• 著者らは、ラベル依存のガウス分布ノード属性を伴う文脈的スチュアティックブロックモデル（CSBM）を用いてノード分類をモデル化した。
• ノードラベルの最大後確信度（MAP）推定器を導出し、ReLU活性化を伴う隣接集約と非線形属性変換を内蔵するGNNに類似したアーキテクチャが自然に得られることを示した。
• ノード属性にガウス分布を仮定したもとで、線形モデルと非線形モデルの誤分類誤差を解析的に比較した。
• 非線形性が性能向上をもたらす条件を形式化し、属性情報量が限られている場合と十分である場合の2つの状況に分けて考察した。
• ノード属性の平均ベクトルを回転させることで分布シフトを再現し、線形モデルと非線形モデルの誤分類誤差の増加を比較することで、転送性を分析した。
• 合成CSBM生成グラフおよび実世界のデータセットを用いた実験を通じて理論的予測を検証した。モデルハイパーパrameterを固定し、非線形性の影響を孤立して評価した。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける非線形性がノード分類において線形伝搬よりも顕著な優位性を示す条件は何か？
• RQ2 非線形GNNは表現力に優れているにもかかわらず、多くの実験的調査で線形ベースラインに対して僅かな性能向上しか示さないのはなぜか？
• RQ3 ノード属性の情報量がグラフ構造に対してどの程度高いかが、GNNにおける非線形性の利点に与える影響は何か？
• RQ4 トレーニング時とテスト時のノード属性に分布シフトが生じた場合、非線形性はモデルの転送性を向上させるか？
• RQ5 ベイジアン推論は、GNNにおけるメッセージパッシングの関数的形態を原理的かつ整合的に説明できるか？

主な発見

• ノード属性がグラフ構造よりも情報量が少ない場合、非線形モデルと線形モデルの誤分類誤差は漸近的に等しくなり、その比は1に近づく。
• ノード属性が十分に情報量がある場合、非線形モデルの誤分類誤差は線形モデルよりも著しく小さくなる。サンプルサイズが増加するにつれて、誤差比は0に近づく。
• ノード属性に分布シフトが生じた場合、属性情報量が高い状況では非線形モデルが線形モデルよりも優れた転送性を示す。誤分類誤差の増加が小さいことから裏付けられる。
• 理論的分析により、GNNにおけるReLUベースのメッセージパッシングがCSBM下でのベイジアンMAP推定から自然に導かれることが確認され、その使用に原理的根拠が与えられた。
• 合成および実世界のグラフ上で得られた実証的結果は理論的予測を裏付け、非線形GNNが属性情報量が高い場合にのみ線形モデルを上回ることを示した。
• 属性情報量が限られている状況では、非線形モデルと線形モデルの性能差は無視できるほど小さく、これは実世界のノード分類タスクにおける一般的な実証的観察と整合的である。