[논문 리뷰] Path Neural Networks: Expressive and Accurate Graph Neural Networks

Gaspard Michel, Giannis Nikolentzos외 2명|arXiv (Cornell University)|2023. 06. 09.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 경로 신경망(PathNNs)을 소개한다. PathNNs는 단일 최단 경로, 모든 최단 경로, 길이 K 이하의 모든 단순 경로를 포함한 경로의 표현을 집계함으로써 표현력을 향상시키는 새로운 그래프 신경망이다. 저자들은 두 가지 변형이 1차원 Weisfeiler-Leman(1-WL) 알고리즘을 초월하는 표현력을 지닌다는 것을 이론적으로 증명하였으며, 합성 및 실세계 그래프 데이터셋에서 이론적 예측을 실험적으로 검증하였다. 그 결과, 그래프 분류 및 회귀 과제에서 최신 기술(SOTA) 모델을 능가하는 성능을 기록하였다.

ABSTRACT

Graph neural networks (GNNs) have recently become the standard approach for learning with graph-structured data. Prior work has shed light into their potential, but also their limitations. Unfortunately, it was shown that standard GNNs are limited in their expressive power. These models are no more powerful than the 1-dimensional Weisfeiler-Leman (1-WL) algorithm in terms of distinguishing non-isomorphic graphs. In this paper, we propose Path Neural Networks (PathNNs), a model that updates node representations by aggregating paths emanating from nodes. We derive three different variants of the PathNN model that aggregate single shortest paths, all shortest paths and all simple paths of length up to K. We prove that two of these variants are strictly more powerful than the 1-WL algorithm, and we experimentally validate our theoretical results. We find that PathNNs can distinguish pairs of non-isomorphic graphs that are indistinguishable by 1-WL, while our most expressive PathNN variant can even distinguish between 3-WL indistinguishable graphs. The different PathNN variants are also evaluated on graph classification and graph regression datasets, where in most cases, they outperform the baseline methods.

연구 동기 및 목표

• 표준 메시지 전파 GNN의 제한된 표현력 문제를 해결하기 위해, 이는 비이sov몰피즘 그래프를 구분하는 데 최대한 1-WL 알고리즘과 동등한 힘을 지닌다.
• 1-WL을 초월하는 그래프를 구분할 수 있는 경로 구조를 활용하면서도 다항시간 계산 가능성을 유지하는 GNN 아키텍처를 개발하기 위해.
• 다양한 경로 하위집합(단일 최단 경로, 모든 최단 경로, 길이 K 이하의 모든 단순 경로)을 기반으로 한 PathNN의 여러 변형을 설계하고 평가하기 위해.
• PathNN가 1-WL을 초월하는 표현력을 지닌다는 것을 이론적으로와 실험적으로 입증하고, 실세계 그래프 학습 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• PathNNs는 각 노드에서 출발하는 경로의 인코딩된 표현을 집계하여 노드 표현을 계산하며, 각 경로를 벡터로 인코딩하기 위해 순환층을 사용한다.
• 세 가지 변형이 제안된다: PathNN-SP(단일 최단 경로), PathNN-AP(모든 최단 경로), PathNN-AP*(길이 K 이하의 모든 단순 경로).
• 각 경로는 순환 신경망(RNN)을 통해 인코딩되며, 출력은 가분성 있는 풀링 메커니즘을 통해 집계되어 최종 노드 표현을 형성한다.
• 모델은 그래프 분류 및 회귀를 위한 표준 GNN 최적화 목표를 사용하여 엔드 투 엔드로 훈련된다.
• 이론적 분석 결과, PathNN-AP와 PathNN-AP*는 1-WL보다 엄밀히 더 표현력이 뛰어나며, 1-WL이 구분하지 못하는 그래프를도 구분할 수 있다.
• 경로 계산은 다항시간 내에 해결 가능한 하위집합으로 제한된다: 최단 경로(Dijkstra 알고리즘)와 길이 제한된 단순 경로(동적 프로그래밍을 통한 처리).

실험 결과

연구 질문

• RQ1 GNN에서 경로 기반 집계가 비이sov몰피즘 그래프를 구분하는 데 있어 1-WL 알고리즘의 표현력을 초월할 수 있는가?
• RQ2 어느 경로 하위집합(예: 최단 경로, 모든 단순 경로)이 계산 가능성을 유지하면서도 가장 높은 표현력을 가진 GNN 변형을 제공하는가?
• RQ3 기존 최신 기술 GNN과 비교해 PathNN이 실세계 그래프 학습 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ4 PathNN는 장거리 의존성을 효과적으로 모델링할 수 있는가? 이를 그래프 분류 및 회귀 과제에서 향상된 성능으로 입증할 수 있는가?

주요 결과

• 이론적으로 증명된 Linen에 따라, PathNN-AP(모든 최단 경로)와 PathNN-AP*(길이 K 이하의 모든 단순 경로) 두 변형은 1-WL보다 엄밀히 더 표현력이 뛰어나다.
• 합성 데이터셋에서, 1-WL이 구분하지 못하는 비이sov몰피즘 그래프를 PathNNs는 성공적으로 구분하였다. 이는 3-WL 알고리즘으로도 구분되지 않는 그래프들 역시 포함되어 있었다.
• Peptides-Functional 데이터셋에서, PathNN-SP+는 GCN 대비 평균 정밀도에서 8.86%의 절대적 향상을 기록하였다. Peptides-Structural 데이터셋에서는 GatedGCN 대비 평균 절대 오차가 8.80% 향상되었다.
• ogbg-molhiv 그래프 분류 벤치마크에서, PathNN-SP+는 ROC-AUC 점수 79.17%를 기록하여 테스트된 모든 방법 중 세 번째로 높은 순위를 기록하였다.
• ZINC12K 그래프 회귀 데이터셋에서, PathNN-AP는 0.090 ± 0.004의 최고 평균 절대 오차를 기록하여, CIN 및 Graphormer와 같은 최신 기술 모델을 포함한 모든 베이스라인을 능가하였다.
• 가장 표현력이 뛰어난 PathNN-AP* 변형은 ogbg-molhiv에서 PathNN-SP+보다 略적으로 낮은 성능을 보였으며, 표현력과 최적화 안정성 사이의 상충 관계가 있음을 시사한다.