[論文レビュー] Understanding Graph Neural Networks from Graph Signal Denoising Perspectives

Guoji Fu, Yifan Hou+4 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Graph Neural Networks参考文献 27被引用数 12

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）をグラフ信号のノイズ除去（GSD）問題として解釈する統一的理論枠組みを提案する。スペクトルグラフ畳み込みはノイズのあるノード特徴量をノイズ除去および平滑化し、グラフアテンション機構はエッジ重みをノイズ除去する。この枠組みにより、ノイズ除去と平滑化のバランスを最適化する2つの新しいモデル、GSDN-F および GSDN-EF が提案され、制御されたノイズレベルを有するベンチマークデータセットにおける広範な実験により、ノイズのあるグラフ上で最先端の性能を達成した。

ABSTRACT

Graph neural networks (GNNs) have attracted much attention because of their excellent performance on tasks such as node classification. However, there is inadequate understanding on how and why GNNs work, especially for node representation learning. This paper aims to provide a theoretical framework to understand GNNs, specifically, spectral graph convolutional networks and graph attention networks, from graph signal denoising perspectives. Our framework shows that GNNs are implicitly solving graph signal denoising problems: spectral graph convolutions work as denoising node features, while graph attentions work as denoising edge weights. We also show that a linear self-attention mechanism is able to compete with the state-of-the-art graph attention methods. Our theoretical results further lead to two new models, GSDN-F and GSDN-EF, which work effectively for graphs with noisy node features and/or noisy edges. We validate our theoretical findings and also the effectiveness of our new models by experiments on benchmark datasets. The source code is available at \url{https://github.com/fuguoji/GSDN}.

研究の動機と目的

• スペクトル的および非スペクトル的GNNがノード表現学習にどのように機能するかを統一的理論的理解を提供すること。
• ノイズのあるノード特徴量やエッジ重みの下でもGNNが優れた性能を発揮する理由を説明すること。
• スペクトル的および非スペクトル的GNNの間のギャップを、グラフ信号のノイズ除去（GSD）の視点から統一的に解釈することで埋める。
• ノード特徴量およびエッジ重みのノイズ除去を明示的に最適化する新しいGNNモデルを設計し、ノイズのあるグラフにおける耐性を向上させること。

提案手法

• ノイズのあるノード特徴量上で、スペクトルグラフ畳み込み（例：GCN、SGC、ChebyNet）をノイズ除去問題の多項式近似解として形式化する。
• グラフアテンション機構（例：GAT、AGNN）を、ノイズのあるエッジ重み上で暗黙的にノイズ除去問題を解くものとしてモデル化する。
• GSDN-Fを提案する。これは、学習可能なトレードオフパラメータ α を用いて、ノード特徴量のノイズ除去と平滑化を明示的にバランスさせる。
• GSDN-EFを提案する。これは、非線形グラフアテンションと競合する学習可能なアテンション機構を介して線形エッジノイズ除去を適用する。
• GNNが2つの異なるGSD問題（ノード特徴量用およびエッジ重み用）を解釈する統一的理論枠組みを導入する。
• ノイズのあるノード特徴量およびエッジを有するベンチマークデータセットにおける理論的分析と実験的評価を用いて、この枠組みを検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるノード特徴量の下で、スペクトルグラフ畳み込みネットワーク（SGCNs）はノード表現学習にどのように寄与するか？
• RQ2 グラフアテンションネットワーク（GANNs）は、特徴量の集約とは別に、エッジ重みのノイズ除去によってどれほど性能を向上させるか？
• RQ3 グラフ信号のノイズ除去の観点から、スペクトル的および非スペクトル的GNNを統一的理論枠組みで説明可能か？
• RQ4 非線形グラフアテンションと同等の性能を達成するために、線形アテンション機構は十分か？
• RQ5 ノイズレベルが変化する条件下で、ノード特徴量のノイズ除去と平滑化のトレードオフは、GNNの性能にどのように影響を与えるか？

主な発見

• GCN、SGC、ChebyNetにおけるスペクトルグラフ畳み込みは、ノイズのあるノード特徴量のノイズ除去および平滑化を実行し、ノイズレベルが高いほど性能向上が顕著に現れる。
• GATおよびAGNNにおけるグラフアテンション機構は、エッジ重みのグラフ信号ノイズ除去問題を暗黙的に解き、ノイズのあるエッジを有するグラフにおいて顕著な性能向上を達成する。
• GSDN-Fは、特にノイズが高い状況下で、GCN や SGC と同等またはそれ以上の性能を達成する。これは、明示的なノイズ除去能力のおかげである。
• 線形エッジノイズ除去機構を有するGSDN-EFは、ノイズのあるエッジグラフにおいてGAT や AGNN と同等の性能を示し、非線形アテンションが効果的なエッジノイズ除去に不可欠ではないことを示している。
• ノード特徴量とエッジの両方がノイズを含む状況では、α=1.2 の GSDN-F および GSDN-EF がすべてのベースラインを上回り、特に高いノイズレベル下で顕著な優位性を示す。これは、このような状況下でノイズ除去が平滑化よりも重要であることを確認する。
• 実験的結果は、GNNが暗黙的にグラフ信号ノイズ除去問題を解いているという理論的主張を裏付け、性能向上がノイズ除去能力に直接関連していることを示している。