[논문 리뷰] Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification

Ting Chen, Song Bian외 1명|arXiv (Cornell University)|2019. 05. 11.

Advanced Graph Neural Networks참고 문헌 25인용 수 52

한 줄 요약

본 연구는 GNN의 그래프 필터링과 집합 함수 부분을 선형화하여 Graph Feature Network(GFN)와 Graph Linear Network(GLN)를 제안한다. GFN은 비용이 더 낮으면서 최신 GNN과 동등하거나 더 우수한 성능을 보이고, GLN은 성능이 떨어지는 경향을 보여 비선형 집합 함수의 중요성을 강조한다.

ABSTRACT

Graph Neural Nets (GNNs) have received increasing attentions, partially due to their superior performance in many node and graph classification tasks. However, there is a lack of understanding on what they are learning and how sophisticated the learned graph functions are. In this work, we propose a dissection of GNNs on graph classification into two parts: 1) the graph filtering, where graph-based neighbor aggregations are performed, and 2) the set function, where a set of hidden node features are composed for prediction. To study the importance of both parts, we propose to linearize them separately. We first linearize the graph filtering function, resulting Graph Feature Network (GFN), which is a simple lightweight neural net defined on a extit{set} of graph augmented features. Further linearization of GFN's set function results in Graph Linear Network (GLN), which is a linear function. Empirically we perform evaluations on common graph classification benchmarks. To our surprise, we find that, despite the simplification, GFN could match or exceed the best accuracies produced by recently proposed GNNs (with a fraction of computation cost), while GLN underperforms significantly. Our results demonstrate the importance of non-linear set function, and suggest that linear graph filtering with non-linear set function is an efficient and powerful scheme for modeling existing graph classification benchmarks.

연구 동기 및 목표

• 그래프 분류에서 GNN이 무엇을 학습하는지 이해를 자극하기 위해 그래프 필터링 및 집합 함수 단계로 분해한다.
• 각 부분의 영향을 분리하기 위해 선형화된 변형(GFN 및 GLN)을 도입한다.
• 표준 그래프 분류 벤치마크에서 경험적으로 평가하여 최첨단 GNN과 비교한다.
• 실험 벤치마크에서는 비선형 집합 함수가 중요하다고 보여주며, 비선형 그래프 필터링은 필요하지 않을 수 있음을 시사한다.

제안 방법

• Graph Feature Network(GFN)을 그래프 보강 특징 X^G에 작용하는 신경 집합 함수로 정의한다.
• 노드 차수(degree)와 다중 스케일 전파 특징을 사용하여 그래프 보강 특징 X^G를 구성한다: X^G = [d, X, A˜X, A˜²X, ..., A˜^K X].
• GFN을 순열 불변 함수로 서술한다: GFN(G,X) = ρ( sum_{v in V} φ(X^G_v) ).
• GLN(Graph Linear Network)을 보강 특징에 대한 선형 읽어내기(linear readout)로 정의한다: GLN(G,X) = σ( W sum_v X^G_v ).
• 그래프 필터링을 선형화하여 GNN과 비교한다: F_G(X) = Γ(G,X) θ, 이를 통해 GNN^lin(G,X) = GFN(G,X)로 동치시킨다.
• 그래프 분류 벤치마크에서 GFN, GLN 및 GCN 유사 베이스라인을 실험적으로 비교하고 정확성과 효율성에 초점을 둔다.

실험 결과

연구 질문

• RQ1 그래프 분류 작업/데이터셋에 대해 정교한 그래프 필터링 함수가 필요합니까?
• RQ2 집합 함수가 강력하면, 간단한 그래프 필터링 함수로 충분합니까?
• RQ3 선형화된 변형(GFN/GLN)은 벤치마크 데이터셋에서 표준 GNN에 비해 어떤 성능을 보입니까?
• RQ4 그래프 필터링의 비선형성 대 집합 함수의 중요성은 어느 정도입니까?
• RQ5 선형 그래프 필터링과 비선형 집합 함수가 정확도와 계산량 사이의 좋은 트레이드-off를 제공합니까?

주요 결과

알고리즘	MUTAG	NCI1	PROTEINS	D&D	ENZYMES	Average
WL	82.05 ± 0.36	82.19 ± 0.18	74.68 ± 0.49	79.78 ± 0.36	52.22 ± 1.26	74.18
AWE	87.87 ± 9.76	-	-	71.51 ± 4.02	35.77 ± 5.93	-
DGK	87.44 ± 2.72	80.31 ± 0.46	75.68 ± 0.54	73.50 ± 1.01	53.43 ± 0.91	74.07
RetGK I	90.30 ± 1.10	84.50 ± 0.20	75.80 ± 0.60	81.60 ± 0.30	60.40 ± 0.80	78.52
RetGK II	90.10 ± 1.00	83.50 ± 0.20	75.20 ± 0.30	81.00 ± 0.50	59.10 ± 1.10	77.78
GNTK	90.00 ± 8.50	84.20 ± 1.50	75.60 ± 4.20	-	-	-
PSCN	88.95 ± 4.37	76.34 ± 1.68	75.00 ± 2.51	76.27 ± 2.64	-	-
DGCNN	85.83 ± 1.66	74.44 ± 0.47	75.54 ± 0.94	79.37 ± 0.94	51.00 ± 7.29	73.24
CapsGNN	86.67 ± 6.88	78.35 ± 1.55	76.28 ± 3.63	75.38 ± 4.17	54.67 ± 5.67	74.27
GIN	89.40 ± 5.60	82.70 ± 1.70	76.20 ± 2.80	-	-	-
GCN	87.20 ± 5.11	83.65 ± 1.69	75.65 ± 3.24	79.12 ± 3.07	66.50 ± 6.91	78.42
GLN	82.85 ± 12.15	68.61 ± 2.31	75.65 ± 4.43	76.75 ± 5.00	43.83 ± 5.16	69.54
GFN	90.84 ± 7.22	82.77 ± 1.49	76.46 ± 4.06	78.78 ± 3.49	70.17 ± 5.58	79.80
GFN-light	89.89 ± 7.14	81.43 ± 1.65	77.44 ± 3.77	78.62 ± 5.43	69.50 ± 7.37	79.38

• GFN은 최근 제안된 GNN들 중 여러 벤치마크에서 최고의 정확도에 근접하거나 이를 능가하며, 계산 비용은 상당히 낮다.
• GLN은 GFN 및 표준 GNN에 비해 성능이 떨어지며, 비선형 집합 함수의 중요성을 강조한다.
• 선형 그래프 필터링은 성능에 거의 영향을 미치지 않으며, 현재의 그래프 분류 벤치마크에 대해 선형화된 필터링으로 충분할 수 있음을 시사한다.
• GFN은 생물학적 및 사회적 그래프 데이터 세트에서 경쟁적이거나 우수한 성능을 달성한다.
• GFN은 GCN과 동등하거나 더 잘 일반화하며, 이러한 과제에서 선형 필터링으로부터의 유용한 귀납 편향을 시사한다.