[論文レビュー] From Graph Low-Rank Global Attention to 2-FWL Approximation.

Omri Puny, Heli Ben-Hamu+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 37被引用数 10

ひとこと要約

本論文では、2-Folklore Weisfeiler-Lehman (2-FWL) 頂点同型性テストにアルゴリズム的に整合する Low-Rank Global Attention (LRGA) という GNN モジュールを提案する。2-FWL は頂点彩色よりも強力であることが証明されている。2-FWL を多項式カーネルを用いて定式化し、LRGA がそのカーネルの特徴マップを有界なサンプル複雑性で近似できることを示すことで、一般化性能が向上し、標準的な GNN ベンチマークで最先端の性能を達成した。

ABSTRACT

Graph Neural Networks (GNNs) are known to have an expressive power bounded by that of the vertex coloring algorithm (Xu et al., 2019a; Morris et al., 2018). However, for rich node features, such a bound does not exist and GNNs can be shown to be universal, namely, have the theoretical ability to approximate arbitrary graph functions. It is well known, however, that expressive power alone does not imply good generalization. In an effort to improve generalization of GNNs we suggest the Low-Rank Global Attention (LRGA) module, taking advantage of the efficiency of low rank matrix-vector multiplication, that improves the algorithmic alignment (Xu et al., 2019b) of GNNs with the 2-folklore Weisfeiler-Lehman (FWL) algorithm; 2-FWL is a graph isomorphism algorithm that is strictly more powerful than vertex coloring. Concretely, we: (i) formulate 2-FWL using polynomial kernels; (ii) show LRGA aligns with this 2-FWL formulation; and (iii) bound the sample complexity of the kernel's feature map when learned with a randomly initialized two-layer MLP. The latter means the generalization error can be made arbitrarily small when training LRGA to learn the 2-FWL algorithm. From a practical point of view, augmenting existing GNN layers with LRGA produces state of the art results on most datasets in a GNN standard benchmark.

研究の動機と目的

• ノード特徴が豊富なグラフにおいて、表現力と一般化性能のギャップを解消すること。
• 頂点彩色よりも厳密に強力な 2-Folklore Weisfeiler-Lehman (2-FWL) アルゴリズムと GNN を整合させることで一般化性能を向上させること。
• 2-FWL アルゴリズムの表現力を近似しつつ、計算コストを抑えた微分可能で効率的なアテンションメカニズムを開発すること。
• ランダムに初期化された2層MLPを用いて2-FWLカーネルの特徴マップを学習する際のサンプル複雑性を理論的に有界化し、一般化を保証すること。

提案手法

• 2-FWL アルゴリズムを多項式カーネルを用いて定式化し、グラフ構造の微分可能で学習可能な表現を可能にする。
• 2-FWL カーネルの特徴マップを低ランク行列-ベクトル乗算によって近似する微分可能なアテンションメカニズムとして Low-Rank Global Attention (LRGA) モジュールを設計する。
• 既存の GNN レイヤーにプラグインモジュールとして統合し、コアアーキテクチャを変更せずに表現力を向上させる。
• 理論的分析により、ランダムに初期化された2層MLPを用いる場合、2-FWLカーネルの特徴マップは有界なサンプル複雑性で学習可能であることが示された。
• 低ランク演算の効率性を活用して、高い表現力とスケーラビリティを両立する。

実験結果

リサーチクエスチョン

• RQ1 2-FWL 頂点同型性テスト（頂点彩色よりも強力）と整合する学習可能なアテンションメカニズムを設計できるか？
• RQ2 2-FWL アルゴリズムを多項式カーネルを用いて再定式化し、GNN における微分可能学習を可能にできるか？
• RQ3 ランダムに初期化された2層MLPを用いて2-FWLカーネルの特徴マップを学習する際のサンプル複雑性はどの程度か？
• RQ4 LRGA を GNN に統合することで、従来手法と比較して一般化性能とベンチマークスコアが向上するか？

主な発見

• 2-FWL アルゴリズムは多項式カーネルを用いて再定式化可能であり、これによりグラフ構造の微分可能で学習可能な表現が可能になった。
• LRGA モジュールは2-FWLカーネルの特徴マップと整合し、頂点彩色では表現できない高次元のグラフ構造を効果的に捉えることができた。
• ランダムに初期化された2層MLPを用いる場合、2-FWLカーネルの特徴マップの学習におけるサンプル複雑性は有界であることが示され、十分な訓練データがある場合の一般化が保証された。
• LRGA を統合した既存の GNN レイヤーは、標準的な GNN ベンチマークスイートの大多数のデータセットで最先端の性能を達成した。