[論文レビュー] Graph Networks with Spectral Message Passing

Kimberly Stachenfeld, Jonathan Godwin+1 more|arXiv (Cornell University)|Dec 31, 2020

Computational Drug Discovery Methods参考文献 2被引用数 5

ひとこと要約

本稿では、ラプラシアン固有ベクトル上でのスペクトル的メッセージパッシングと空間的メッセージパッシングを組み合わせることで、長距離の情報伝達を向上させる、新しいGNNアーキテクチャであるスペクトルグラフネットワーク（SGNs）を提案する。ノードを固有ベクトルに射影し、スペクトル領域で学習可能なメッセージパッシングを適用することで、SGNsは訓練速度の向上、エッジドロップアウトに対するより高いロバスト性、およびグラフMNIST、分子性質予測、最短経路タスクにおける性能向上を達成した。特に、低次元またはコミュニティ構造を持つトポロジーのグラフにおいて顕著な効果を示した。

ABSTRACT

Graph Neural Networks (GNNs) are the subject of intense focus by the machine learning community for problems involving relational reasoning. GNNs can be broadly divided into spatial and spectral approaches. Spatial approaches use a form of learned message-passing, in which interactions among vertices are computed locally, and information propagates over longer distances on the graph with greater numbers of message-passing steps. Spectral approaches use eigendecompositions of the graph Laplacian to produce a generalization of spatial convolutions to graph structured data which access information over short and long time scales simultaneously. Here we introduce the Spectral Graph Network, which applies message passing to both the spatial and spectral domains. Our model projects vertices of the spatial graph onto the Laplacian eigenvectors, which are each represented as vertices in a fully connected "spectral graph", and then applies learned message passing to them. We apply this model to various benchmark tasks including a graph-based variant of MNIST classification, molecular property prediction on MoleculeNet and QM9, and shortest path problems on random graphs. Our results show that the Spectral GN promotes efficient training, reaching high performance with fewer training iterations despite having more parameters. The model also provides robustness to edge dropout and outperforms baselines for the classification tasks. We also explore how these performance benefits depend on properties of the dataset.

研究の動機と目的

• 反復的メッセージパッシングに依存する空間的GNNが、長距離依存関係を捉える能力に制限を受けることの是正。
• グローバルなグラフ構造にアクセスできるスペクトル的手法を、学習可能で微分可能なGNNフレームワークに統合すること。
• スペクトル的メッセージパッシングがモデル性能、訓練効率、エッジドロップアウトに対するロバスト性を向上させるかどうかの検証。
• 異なるグラフトポロジーにおける空間的およびスペクトル的メッセージパッシングの寄与度の評価。

提案手法

• モデルは、グラフラプラシアンの最初のK個の固有ベクトルに入力グラフのノードを射影し、完全連結な「スペクトルグラフ」を構築する。
• 空間グラフおよびスペクトルグラフの両方で、独立して学習可能なメッセージパッシングを適用し、ノードおよび固有ベクトルを介して特徴を伝搬する。
• ノード特徴量は、空間的およびスペクトル的メッセージパッシングの別々の更新を伴うグラフネットワーク（GN）フレームワークにより更新される。
• スペクトルグラフはラプラシアン固有ベクトルを用いて構築され、低周波成分を含むグローバル構造的情報を符号化する。
• スペクトル領域でのメッセージパッシングをパarameterizeするための学習可能な変換（U）をモデルが使用し、エンド・ツー・エンドの訓練を可能にする。
• ロバストネスの評価にエッジドロップアウトおよびスパarsificationを用い、標準的なGNおよびGCNと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 空間的およびスペクトル的メッセージパッシングを組み合わせることで、GNNにおける長距離関係推論が向上するか？
• RQ2 標準的な空間的GNNと比較して、スペクトル的メッセージパッシングは訓練効率およびエッジドロップアウトに対するロバスト性を向上させるか？
• RQ3 スケールフリー、コミュニティ構造、低次元などの異なるグラフトポロジーにおいて、モデル性能および訓練ダイナミクスはどのように変化するか？
• RQ4 全体的な性能に占める空間的およびスペクトル的メッセージパッシングの相対的寄与度は何か？

主な発見

• スペクトルGNは、パrameter数がより多いにもかかわらず、標準GNおよびGCNよりも少ない訓練イテレーションでグラフMNISTで高い性能を達成した。
• MoleculeNet-HIVでは、U-GNモデルがAUC 0.769±0.015を達成し、ベースラインGNを上回り、最先端性能に近づいた。
• QM9では、ヴァニラGNが他のモデルを上回り、初期訓練段階でスペクトルGCNがヴァニラGCNよりも低いMAEを示した。
• 100％のエッジドロップアウト下でも、U-GNはQM9の13のターゲットのうち12つで標準GNを上回り、強いロバストネスを示した。
• ランダムデローニー2Dグラフでは、U-GNの性能がグラフサイズの増加に伴い向上し、幾何的構造の捉え込みにスペクトル的メッセージパッシングが寄与していることが示された。
• アブレーションスタディでは、空間的メッセージパッシングを削除すると、すべてのデータセットで性能が低下した一方で、スペクトル的メッセージパッシングは一貫した寄与を示し、特に2Dデローニー・グラフで顕著であった。