[논문 리뷰] Nested Graph Neural Networks

Muhan Zhang, Pan Li|arXiv (Cornell University)|2021. 10. 25.

Advanced Graph Neural Networks참고 문헌 63인용 수 33

한 줄 요약

NGNN은 중첩 루트 하위 그래프를 도입하여 노드 표현을 학습하고, 1-WL 및 표준 GNN보다 엄밀히 강력하면서도 선형 시간 복잡도를 유지하고, 여러 기본 GNN 및 데이터셋에 걸쳐 일관된 성능 향상을 입증한다.

ABSTRACT

Graph neural network (GNN)'s success in graph classification is closely related to the Weisfeiler-Lehman (1-WL) algorithm. By iteratively aggregating neighboring node features to a center node, both 1-WL and GNN obtain a node representation that encodes a rooted subtree around the center node. These rooted subtree representations are then pooled into a single representation to represent the whole graph. However, rooted subtrees are of limited expressiveness to represent a non-tree graph. To address it, we propose Nested Graph Neural Networks (NGNNs). NGNN represents a graph with rooted subgraphs instead of rooted subtrees, so that two graphs sharing many identical subgraphs (rather than subtrees) tend to have similar representations. The key is to make each node representation encode a subgraph around it more than a subtree. To achieve this, NGNN extracts a local subgraph around each node and applies a base GNN to each subgraph to learn a subgraph representation. The whole-graph representation is then obtained by pooling these subgraph representations. We provide a rigorous theoretical analysis showing that NGNN is strictly more powerful than 1-WL. In particular, we proved that NGNN can discriminate almost all r-regular graphs, where 1-WL always fails. Moreover, unlike other more powerful GNNs, NGNN only introduces a constant-factor higher time complexity than standard GNNs. NGNN is a plug-and-play framework that can be combined with various base GNNs. We test NGNN with different base GNNs on several benchmark datasets. NGNN uniformly improves their performance and shows highly competitive performance on all datasets.

연구 동기 및 목표

• 그래프 분류를 위한 더 풍부한 로컬 그래프 구조를 포착하기 위해 루트된 하위 트리(subtrees)를 넘어 나아가야 할 필요성을 동기화한다.
• 각 노드 주위의 루트된 하위그래프를 두 단계 GNN 프레임워크를 통해 인코딩하도록 NGNN을 제안한다.
• 정의된 조건 하에서 NGNN이 1-WL 및 표준 메시지 전달 GNN보다 엄밀히 더 강력하다는 것을 입증한다.
• 기존 기본 GNN에 대한 즉시 적용 가능한 확장으로서 NGNN의 확장성 및 호환성을 보여준다.

제안 방법

• 루트된 하위그래프와 루트된 하위그래프에서 작동하는 내부 기본 GNN들을 포함하는 NGNN 아키텍처를 정의한다.
• 각 루트된 하위그래프에서 최종 루트 노드 표현을 얻기 위해 부분그래프 풀링 층을 적용한다.
• 루트 노드 표현을 전체 그래프 표현으로 집계하기 위해 외부 GNN(또는 그래프 풀링)을 사용한다.
• 기본 GNN은 어떤 GNN이라도 될 수 있음을 보여준다; 모든 내부 GNN은 매개변수를 공유하고 복제된 하위그래프에서 작동한다.
• 이론적으로 NGNN의 향상된 표현력을 증명한다(거의 모든 r-정규 그래프를 판별) 및 복잡도(그래프 크기에 선형) 논의.
• 표현 향상을 위해 노드 특성을 하위그래프 특성(예: 거리 인코딩)으로 보강하는 것을 선택적으로 제안한다.

실험 결과

연구 질문

• RQ1 NGNN은 1-WL이 구분하지 못하는 그래프를 구분할 수 있는가?
• RQ2 벤치마크 데이터셋에서 다양한 기본 GNN과 결합했을 때 NGNN이 얼마나 성능 향상을 제공하는가?
• RQ3 NGNN은 대형 그래프에 대해 확장 가능하며 표준 GNN과의 비교 효율성을 유지하는가?
• RQ4 실무에서 더 높은 차수의 WL 기반 GNN과 NGNN은 어떻게 비교되는가?
• RQ5 하위그래프 높이와 기본 GNN 선택이 NGNN 성능에 미치는 영향은 무엇인가?

주요 결과

• NGNN은 1-WL이 실패하는 n-크기의 거의 모든 r-정규 그래프 쌍을 구분할 수 있다.
• NGNN은 QM9, TU, OGB 벤치마크에서 다수의 기본 GNN에 대해 일관되게 성능을 향상시킨다.
• 작은 루트된 하위그래프를 가정할 때 NGNN은 그래프 크기에 대해 선형 시간 및 공간 복잡도를 유지한다.
• 깊은 아키텍처 없이도 하위그래프 풀링이 더 풍부한 표현을 가능하게 하므로 단일 또는 적은 NGNN 층으로도 충분하다.
• 실험 결과는 개방 벤치마크에서 NGNN의 경쟁력 있거나 우수한 성능을 보여준다.