[논문 리뷰] Graph Neural Networks with Local Graph Parameters

Pablo Barceló, Floris Geerts외 2명|arXiv (Cornell University)|2021. 06. 12.

Advanced Graph Neural Networks참고 문헌 46인용 수 15

한 줄 요약

이 논문은 소규모 그래프 패턴(예: 클리크)의 호모모르피즘 수를 정점 특징에 추가하여 그래프 신경망(GNN)을 강화한다. 이러한 저비용으로 사전 계산된 구조적 특징을 통합함으로써, 표준 GNN보다 더 높은 표현력을 가지면서도 O(n) 메모리 및 계산 비용을 유지한다. 주요 기여는 이 강화된 표현력이 k차원 Weisfeiler-Leman 테스트의 변종을 통해 정확하게 기술된 것으로, 표준 GNN과 고차원 GNN 사이에 위치한다.

ABSTRACT

Various recent proposals increase the distinguishing power of Graph Neural Networks GNNs by propagating features between $k$-tuples of vertices. The distinguishing power of these "higher-order'' GNNs is known to be bounded by the $k$-dimensional Weisfeiler-Leman (WL) test, yet their $\mathcal O(n^k)$ memory requirements limit their applicability. Other proposals infuse GNNs with local higher-order graph structural information from the start, hereby inheriting the desirable $\mathcal O(n)$ memory requirement from GNNs at the cost of a one-time, possibly non-linear, preprocessing step. We propose local graph parameter enabled GNNs as a framework for studying the latter kind of approaches and precisely characterize their distinguishing power, in terms of a variant of the WL test, and in terms of the graph structural properties that they can take into account. Local graph parameters can be added to any GNN architecture, and are cheap to compute. In terms of expressive power, our proposal lies in the middle of GNNs and their higher-order counterparts. Further, we propose several techniques to aide in choosing the right local graph parameters. Our results connect GNNs with deep results in finite model theory and finite variable logics. Our experimental evaluation shows that adding local graph parameters often has a positive effect for a variety of GNNs, datasets and graph learning tasks.

연구 동기 및 목표

• 표준 그래프 신경망(GNN)의 제한된 표현력 문제를 해결하기 위해, 1차원 Weisfeiler-Leman(1-WL) 테스트에 의해 제한되며, 클리크나 사이클과 같은 특정 그래프 구조를 구분할 수 없는 문제를 해결한다.
• 고차원 GNN의 O(n^k) 비용을 피하면서도 계산 효율적인 방식으로 GNN에 국소 그래프 구조 정보를 통합하는 프레임워크를 개발한다.
• 국소 그래프 파라미터를 통합한 GNN의 표현력을 정확하게 기술하며, k-WL 테스트의 변종 및 유한 모델 이론과의 관계를 규명한다.
• 다양한 그래프 학습 작업에서 GNN 성능을 향상시키는 데 효과적인 국소 그래프 파라미터를 선택하는 데 실용적인 지침을 제공한다.

제안 방법

• 이 방법은 소규모 그래프 패턴(예: K₃, K₄, K₅)의 호모모르피즘 수를 추가 정점 특징으로 도입한다. 각 정점은 특정 루트 정점 r이 v로 매핑되는 패턴 P에서 그래프 G로의 호모모르피즘 수를 포함한다.
• 이러한 호모모르피즘 수는 사전 처리 단계에서 한 번만 계산되며, 이로 인해 전체 GNN 학습 과정이 반복당 O(n) 비용을 유지한다. 이는 고차원 GNN이 요구하는 O(n^k) 연산과는 대비된다.
• 이 프레임워크는 유한 모델 이론에 기반하여 공식화되며, 표현력은 k차원 Weisfeiler-Leman 테스트의 변종을 통해 분석되어, 유한 변수 논리의 논리적 표현력과 연결된다.
• 이 방법은 GCN, GAT, GraphSAGE와 같은 표준 GNN 아키텍처와 호환되며, 구조적 특징을 모듈러 방식으로 통합할 수 있다.
• 논문은 클리크와 같은 그래프 패턴을 선택하는 데 도움이 되는 기법을 제안하며, 이는 비이sov모르픽 그래프를 구분하는 능력에 기반한다.
• 다양한 GNN을 사용하여 여러 벤치마크 데이터셋(CLUSTER, PATTERN)에서 실험적으로 평가하며, 국소 파라미터 추가 여부에 따른 성능을 비교한다.

실험 결과

연구 질문

• RQ1 소규모 패턴의 호모모르피즘 수를 GNN에 추가함으로써, 표준 GNN과 고차원 GNN에 비해 표현력이 어떻게 향상되는가?
• RQ2 국소 그래프 파라미터를 통합한 GNN의 정확한 표현력은 무엇이며, k차원 Weisfeiler-Leman 테스트 및 유한 모델 이론과의 관계는 어떻게 되는가?
• RQ3 삼각형 수, 클리크 수 등 국소 그래프 파라미터 중 어떤 것이 다양한 그래프 학습 작업에서 성능 향상에 가장 효과적인가?
• RQ4 다양한 아키텍처(GCN, GAT, GraphSAGE)와 데이터셋에서 국소 그래프 파라미터 추가가 일관되게 GNN 성능 향상에 기여하는가?
• RQ5 이 방법의 계산 비용과 확장성은 어떻게 되며, 고차원 GNN과 비교해 학습 시간과 모델 크기 측면에서 어떤가?

주요 결과

• 소규모 그래프 패턴(예: K₃, K₄, K₅)의 호모모르피즘 수를 정점 특징에 추가함으로써, CLUSTER 및 PATTERN 데이터셋에서 GNN 성능이 크게 향상되었으며, 다양한 GNN 아키텍처에서 일관된 성능 향상이 관찰되었다.
• PATTERN 데이터셋에서 GAT에 {K₃, K₄, K₅} 파라미터를 추가한 결과, 가중 평균 정확도 85.50%를 기록하여 베이스라인(78.83%) 및 다른 패턴 조합을 모두 초월했다.
• CLUSTER 데이터셋에서 GatedGCN에 {K₃, K₄, K₅} 파라미터를 추가한 결과, 정확도 74.03%를 기록하여 베이스라인(74.28%)과 비슷하거나 略로 높았으며, 모델 파라미터 수 증가 폭이 매우 미미했다.
• 모든 패턴 세트에서 학습 시간이 안정적으로 유지되었으며, PATTERN 데이터셋에서 GAT 모델은 {K₃, K₄, K₅} 조합을 사용해 총 1.02시간(91에포크)이 소요되어 계산 오버헤드가 매우 낮았다.
• 모델 파라미터 수는 패턴 추가로 인해 거의 증가하지 않았다. 예를 들어, GAT의 경우 PATTERN에서 파라미터 수는 394,632에서 395,088로 증가하여 매우 미미했다. 이는 방법의 효율성을 확인한다.
• 제안된 프레임워크의 표현력은 공식적으로 표준 GNN(1-WL)과 고차원 GNN(k-WL, k≥2) 사이에 위치하며, k-WL 테스트의 변종과 정확한 연결이 있음을 규명했다.