[논문 리뷰] Fine-grained Expressivity of Graph Neural Networks

Jan Böker, Ron Levie외 3명|arXiv (Cornell University)|2023. 06. 06.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 그래프온을 사용하여 메시지 전달 그래프 신경망(MPNNs)의 표현력을 측정하기 위한 연속적이고 위상적인 프레임워크를 제안한다. 1차원 Weisfeiler–Leman(1-WL) 테스트를 더 세밀하고 메트릭 기반의 특성으로 확장하며, MPNN 출력 유사성, 트리 거리, 그리고 호모모르피 밀도 간의 등가성을 확립한다. 이는 MPNN의 그래프를 구분하는 능력이 이러한 연속적 메트릭에 의해 완전히 기술됨을 증명하며, 훈련되지 않은 MPNN도 그래프 분류 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

Numerous recent works have analyzed the expressive power of message-passing graph neural networks (MPNNs), primarily utilizing combinatorial techniques such as the $1$-dimensional Weisfeiler-Leman test ($1$-WL) for the graph isomorphism problem. However, the graph isomorphism objective is inherently binary, not giving insights into the degree of similarity between two given graphs. This work resolves this issue by considering continuous extensions of both $1$-WL and MPNNs to graphons. Concretely, we show that the continuous variant of $1$-WL delivers an accurate topological characterization of the expressive power of MPNNs on graphons, revealing which graphs these networks can distinguish and the level of difficulty in separating them. We identify the finest topology where MPNNs separate points and prove a universal approximation theorem. Consequently, we provide a theoretical framework for graph and graphon similarity combining various topological variants of classical characterizations of the $1$-WL. In particular, we characterize the expressive power of MPNNs in terms of the tree distance, which is a graph distance based on the concept of fractional isomorphisms, and substructure counts via tree homomorphisms, showing that these concepts have the same expressive power as the $1$-WL and MPNNs on graphons. Empirically, we validate our theoretical findings by showing that randomly initialized MPNNs, without training, exhibit competitive performance compared to their trained counterparts. Moreover, we evaluate different MPNN architectures based on their ability to preserve graph distances, highlighting the significance of our continuous $1$-WL test in understanding MPNNs' expressivity.

연구 동기 및 목표

• MPNN 표현력 측정의 한계를 해결하기 위해 이분 그래프 이sov머피즘의 문제를 해결하고, 그래프 유사도의 연속적이고 메트릭 기반의 특성화를 도입한다.
• 위상적 1-WL 테스트의 변종을 사용하여 그래프온에서 MPNN의 표현력을 수학적으로 형식화한다.
• MPNN 출력 유사성, 트리 거리, 및 부분구조 수를 트리 호모모르피즘을 통해 등가성으로 연결한다.
• 그래프온의 맥락에서 MPNN에 대한 보편적 근사 정리를 제공한다.
• 이론적으로 유도된 메트릭을 실증적으로 검증하여, 훈련되지 않은 MPNN이 그래프 수준 예측 작업에서 경쟁적인 성능을 내는지 확인한다.

제안 방법

• 반복적인 차수 측도와 컴act 연산자를 사용하여 1-WL 테스트를 그래프온으로 확장한다.
• 두 가지 연속적 메트릭인 δ_P(프로코르프)와 δ_W(비균형 워샤르슈타인)를 도입하여 반복적인 차수 측도의 위상을 메트라이제화한다.
• 모든 유계 리프시츠 상수와 층 수를 가진 MPNN이 출력을 유사하게 생성할 때, 두 그래프온이 δ_P 또는 δ_W에서 유사하다고 증명한다.
• 이 메트릭을 트리 거리 δ_T□ 및 트리 호모모르피 밀도와 연결하여, 표현력에서 동등한 능력을 가짐을 보여준다.
• 분수 이sov머피즘 이론과 그래프온 극한 이론을 활용하여 MPNN에 대한 보편적 근사 결과를 도출한다.
• 표준 그래프 벤치마크에서 훈련되지 않은 MPNN을 실증적으로 평가하고, 훈련된 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 이분 이sov머피즘을 넘어서, MPNN의 표현력을 연속적이고 세밀하게 특성화할 수 있는 방법은 무엇인가?
• RQ2 MPNN이 그래프온을 분리하는 데 가장 세밀한 위상은 무엇이며, 이는 고전적 1-WL과 그래프온의 구조와 어떻게 관련이 있는가?
• RQ3 MPNN 출력 기반 메트릭, 트리 거리, 트리 호모모르피 밀도 기반 메트릭은 그래프온에서 MPNN 표현력을 동등하게 캡처하는가?
• RQ4 훈련되지 않은 MPNN이 그래프 분류에서 경쟁적인 성능을 내는가? 이는 그들의 내재된 표현 능력에 대해 무엇을 시사하는가?
• RQ5 제안된 연속적 메트릭 δ_P와 δ_W는 실용적 분류 작업에서 기존의 WL 거리와 어떻게 비교되는가?

주요 결과

• 제안된 메트릭 δ_P와 δ_W는 모든 유계 리프시츠 상수와 층 수를 가진 MPNN에 대해 트리 거리 δ_T□ 및 MPNN 출력 유사성과 동치이다.
• 훈련되지 않은 MPNN는 그래프 수준 예측 작업에서 경쟁적인 성능을 내며(예: Mutag에서 81.78% ± 3.29), 이는 초기 가중치가 이미 의미 있는 구조적 정보를 포함하고 있음을 시사한다.
• MPNN 임베딩 간 유클리드 거리는 δ_P와 δ_W의 효율적 하한으로 작용하며, 직접적인 거리 계산보다 훨씬 낮은 계산 비용을 가진다.
• δ_W를 사용한 1-NN 분류기는 Mutag에서 87.89% ± 4.11의 정확도와 Imdb-Binary에서 66.50% ± 4.15의 정확도를 기록했으며, WL 거리(91.1% ± 4.3 및 69.4% ± 3.9)와 유사한 성능을 보였다.
• 층 수를 늘일수록 초기에는 훈련되지 않은 MPNN의 성능이 향상되지만, 결국에는 저하됨을 확인하여 최적의 깊이가 존재함을 보여준다.
• 이론적 프레임워크는 그래프온에서 MPNN에 대한 보편적 근사 정리를 제공하며, MPNN의 표현력이 연속적 1-WL 테스트에 의해 완전히 기술됨을 보여준다.