[논문 리뷰] A Hierarchy of Graph Neural Networks Based on Learnable Local Features

Michael Lingzhi Li, Dong Meng외 2명|arXiv (Cornell University)|2019. 11. 13.

Advanced Graph Neural Networks참고 문헌 34인용 수 7

한 줄 요약

이 논문은 학습 가능한 국소적 특징을 기반으로 한 그래프 신경망(GNN)의 이론적 계층 구조를 제안한다. 여기서 GNN은 그 집합 영역—즉, 인접 노드를 초월한 부분그래프—에 따라 분류되며, 점차 강력한 모델을 체계적으로 구축할 수 있도록 한다. 이 프레임워크는 고차 부분그래프로 집합을 수행하는 GNN이 1-WL 동형 테스트의 판별 능력을 초월할 수 있음을 증명하며, 실험 결과는 특히 삼각형과 같은 구조적 성질을 포착함으로써 노드 및 그래프 분류 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Graph neural networks (GNNs) are a powerful tool to learn representations on graphs by iteratively aggregating features from node neighbourhoods. Many variant models have been proposed, but there is limited understanding on both how to compare different architectures and how to construct GNNs systematically. Here, we propose a hierarchy of GNNs based on their aggregation regions. We derive theoretical results about the discriminative power and feature representation capabilities of each class. Then, we show how this framework can be utilized to systematically construct arbitrarily powerful GNNs. As an example, we construct a simple architecture that exceeds the expressiveness of the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theory on both synthetic and real-world benchmarks, and demonstrate our example's theoretical power translates to strong results on node classification, graph classification, and graph regression tasks.

연구 동기 및 목표

• GNN 아키텍처 설계 및 비교에 대한 체계적인 이해 부족을 해결하기 위해.
• 즉시 이웃을 초월한 집합 영역을 기반으로 한 GNN의 계층을 체계화하기 위해.
• Weisfeiler-Lehman(1-WL) 테스트를 초월하는 임의의 높은 판별 능력을 가진 GNN을 구축하기 위해.
• 실제 및 시뮬레이션 벤치마크에서 이 계층에서 유도된 모델이 표준 GNN보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.
• 삼각형 수와 같은 구조적 불변량은 고차 집합 영역을 통해만 학습 가능함을 보여주기 위해.

제안 방법

• 집합 영역이 정의된 부분그래프(대상 노드를 포함)로 분류되는 GNN의 계층을 제안하며, 약간의 구조적 제약 조건을 가진다.
• 두 가지 핵심 집합 유형을 도입한다: L1(삼각형 포함 1호프 국소 부분그래프) 및 D2(2호프 도수 기반 부분그래프)로, 고차 영역으로의 일반화를 수행한다.
• 판별 능력에 대한 이론적 한계를 유도하며, 즉시 이웃만을 고려하는 GNN이 이웃 내 삼각형 수를 학습할 수 없음을 보여준다.
• 표현 능력 비교를 위해 Weisfeiler-Lehman(WL) 동형 테스트를 기준으로 삼으며, 이 계층이 임의로 강력한 GNN을 생성할 수 있음을 증명한다.
• 깊이 있는 스택이 필요 없이 1층의 간단한 GNN(GCN-L1)을 구성하며, 이는 1-WL 표현 능력을 초월한다.
• 효율성과 공정한 비교를 위해 1층 퍼셉트론 결합 함수를 사용하며, 안정성을 확보하기 위해 노드의 차수로 정규화한다.

실험 결과

연구 질문

• RQ1 즉시 이웃을 초월한 부분그래프로 집합을 수행하는 GNN이 1호프 이웃에 국한된 GNN보다 더 높은 판별 능력을 가지는가?
• RQ2 집합 영역을 기반으로 하여 점차 강력한 GNN 아키텍처를 체계적으로 분류하고 구축할 수 있는가?
• RQ3 제안된 계층이 1-WL 그래프 동형 테스트의 표현 능력을 초월하는 GNN을 생성할 수 있는가?
• RQ4 삼각형을 포착하는 고차 집합 영역을 사용하는 모델은 실제 그래프 학습 작업에서 더 뛰어난 성능을 내는가?
• RQ5 즉시 이웃에서 L1 및 D2 부분그래프로 집합 영역을 확장했을 때, 노드 및 그래프 분류 작업에 대한 경험적 영향은 어떠한가?

주요 결과

• L1 부분그래프(삼각형 포함)로 집합을 수행하는 GCN-L1은 Cora에서 테스트 정확도 82.5±0.3을 기록하며, 표준 GCN(80.6±1.4)을 뛰어넘고 다른 최신 모델과도 유사하거나 뛰어난 성능을 보였다.
• D2 집합 영역을 사용하는 GCN-D2는 Cora에서 82.9±1.0, MUTAG에서 87.8±5.6을 기록하며 GCN보다 뚜렷한 향상을 보였고, GIN 및 GAT와도 경쟁 가능한 성능을 보였다.
• QM7b 회귀 과제에서 GCN-L1은 52.4±4.3 MSE를 기록하며 GCN의 104.3±15.6 MSE보다 유의미하게 뛰어난 성능을 보였다. 이는 개선된 회귀 성능을 의미한다.
• QM9에서 GCN-D2는 72.5±13.0 MSE를 기록하며 GCN의 160.2±15.4 MSE를 능가했으며, 분자의 그래프 회귀 과제에서 강력한 일반화 능력을 보였다.
• L1에서 D2로의 향상은 미미한 편이었으며, 이는 대부분의 이득이 첫 번째 순서 확장(L1)에서 기인함을 시사하며, 이는 정리 1에서 보여진 계층의 완전성을 검증한다.
• 이 프레임워크는 GCN, GAT, N-GCN와 같은 기존 모델들을 하나의 이론적 계층에 통합하며, 이들의 표현 능력이 즉시 이웃 집합에 국한됨을 보여준다.