[論文レビュー] Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification

Ting Chen, Song Bian+1 more|arXiv (Cornell University)|May 11, 2019

Advanced Graph Neural Networks参考文献 25被引用数 52

ひとこと要約

本論文は、GNN のグラフフィルタリングと集合関数の部分を線形化して、Graph Feature Network (GFN) と Graph Linear Network (GLN) を提案する。GFNはコストを抑えつつ最先端のGNNと同等以上の性能を達成する一方、GLNは劣る。非線形な集合関数の重要性を強調する。

ABSTRACT

Graph Neural Nets (GNNs) have received increasing attentions, partially due to their superior performance in many node and graph classification tasks. However, there is a lack of understanding on what they are learning and how sophisticated the learned graph functions are. In this work, we propose a dissection of GNNs on graph classification into two parts: 1) the graph filtering, where graph-based neighbor aggregations are performed, and 2) the set function, where a set of hidden node features are composed for prediction. To study the importance of both parts, we propose to linearize them separately. We first linearize the graph filtering function, resulting Graph Feature Network (GFN), which is a simple lightweight neural net defined on a extit{set} of graph augmented features. Further linearization of GFN's set function results in Graph Linear Network (GLN), which is a linear function. Empirically we perform evaluations on common graph classification benchmarks. To our surprise, we find that, despite the simplification, GFN could match or exceed the best accuracies produced by recently proposed GNNs (with a fraction of computation cost), while GLN underperforms significantly. Our results demonstrate the importance of non-linear set function, and suggest that linear graph filtering with non-linear set function is an efficient and powerful scheme for modeling existing graph classification benchmarks.

研究の動機と目的

• グラフ分類においてGNNが学習する内容を、グラフフィルタリングと集合関数の段階に分解することで理解を促す。
• 各部位の影響を分離するために、線形化したバリアント（GFNとGLN）を導入する。
• 標準的なグラフ分類ベンチマークで経験的に評価し、最先端のGNNと比較する。
• 非線形集合関数が重要である一方、試験ベンチマークでは非線形グラフフィルタリングは必須でないことを示す。

提案手法

• Graph Feature Network (GFN)を、グラフ拡張特徴量 X^G に作用するニューラル集合関数として定義する。
• ノード次数とマルチスケール伝搬特徴量を用いてグラフ拡張特徴量 X^G を構築する： X^G = [d, X, A˜X, A˜²X, ..., A˜^K X]。
• GFNを置換不変関数として記述する： GFN(G,X) = ρ( sum_{v in V} φ(X^G_v) ).
• GLNを、拡張特徴量に対する線形リードアウトとして定義する： GLN(G,X) = σ( W sum_v X^G_v ).
• グラフフィルタリングを線形化してGNNsと比較する： F_G(X) = Γ(G,X) θ、これにより等価 GNN^lin(G,X) = GFN(G,X) が成立する。
• グラフ分類ベンチマークでGFN、GLN、GCN風のベースラインを実験的に比較し、精度と効率に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 グラフ分類のタスク/データセットに対して、洗練されたグラフフィルタリング関数が必要か？
• RQ2 集合関数が強力であれば、単純なグラフフィルタリング関数で十分か？
• RQ3 線形化したバリアント（GFN/GLN）は、ベンチマークデータセットで標準のGNNと比べてどう性能か？
• RQ4 グラフフィルタリングの非線形性と集合関数の非線形性の相対的重要性は？
• RQ5 線形グラフフィルタリングと非線形集合関数は、精度と計算の良いトレードオフを提供するか？

主な発見

Algorithm	MUTAG	NCI1	PROTEINS	D&D	ENZYMES	平均
WL	82.05 ± 0.36	82.19 ± 0.18	74.68 ± 0.49	79.78 ± 0.36	52.22 ± 1.26	74.18
AWE	87.87 ± 9.76	-	-	71.51 ± 4.02	35.77 ± 5.93	-
DGK	87.44 ± 2.72	80.31 ± 0.46	75.68 ± 0.54	73.50 ± 1.01	53.43 ± 0.91	74.07
RetGK I	90.30 ± 1.10	84.50 ± 0.20	75.80 ± 0.60	81.60 ± 0.30	60.40 ± 0.80	78.52
RetGK II	90.10 ± 1.00	83.50 ± 0.20	75.20 ± 0.30	81.00 ± 0.50	59.10 ± 1.10	77.78
GNTK	90.00 ± 8.50	84.20 ± 1.50	75.60 ± 4.20	-	-	-
PSCN	88.95 ± 4.37	76.34 ± 1.68	75.00 ± 2.51	76.27 ± 2.64	-	-
DGCNN	85.83 ± 1.66	74.44 ± 0.47	75.54 ± 0.94	79.37 ± 0.94	51.00 ± 7.29	73.24
CapsGNN	86.67 ± 6.88	78.35 ± 1.55	76.28 ± 3.63	75.38 ± 4.17	54.67 ± 5.67	74.27
GIN	89.40 ± 5.60	82.70 ± 1.70	76.20 ± 2.80	-	-	-
GCN	87.20 ± 5.11	83.65 ± 1.69	75.65 ± 3.24	79.12 ± 3.07	66.50 ± 6.91	78.42
GLN	82.85 ± 12.15	68.61 ± 2.31	75.65 ± 4.43	76.75 ± 5.00	43.83 ± 5.16	69.54
GFN	90.84 ± 7.22	82.77 ± 1.49	76.46 ± 4.06	78.78 ± 3.49	70.17 ± 5.58	79.80
GFN-light	89.89 ± 7.14	81.43 ± 1.65	77.44 ± 3.77	78.62 ± 5.43	69.50 ± 7.37	79.38

• GFNは、計算コストの一部削減で、最近提案された複数のGNNの最高精度に匹敵するか、これを上回る。
• GLNはGFNおよび標準的なGNNと比較して劣っており、非線形集合関数の重要性を示唆する。
• 線形グラフフィルタリングは性能にほとんる影響を与えず、現在のグラフ分類ベンチマークでは線形化したフィルタリングで十分であることを示唆する。
• GFNは生物学的および社会的グラフデータセットのいずれにおいても競争力のある、あるいは優れた性能を示す。
• GFNはGCNと同等かそれ以上の一般化性能を示し、これらのタスクにおける線形フィルタリングによる有益な帰納的バイアスを示唆する。