[논문 리뷰] The Expressive Power of Graph Neural Networks: A Survey

Bingxu Zhang, Changjun Fan외 5명|arXiv (Cornell University)|2023. 08. 16.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 종합 검토는 그래프 신경망(GNNs)의 표현력을 이해하기 위한 통합 이론적 프레임워크를 제공하며, 표현력을 향상시키기 위한 방법을 세 가지 기둥으로 분류한다: 그래프 특징 강화, 그래프 위상 강화, GNN 아키텍처 강화. 기존 벤치마크와 평가 지표의 한계를 밝히며, 물리 기반 GNN 설계와 그래프 신경망 아키텍처 탐색을 지지하고, 향후 GNN 표현력 연구를 위한 표준화된 경로를 제시한다.

ABSTRACT

Graph neural networks (GNNs) are effective machine learning models for many graph-related applications. Despite their empirical success, many research efforts focus on the theoretical limitations of GNNs, i.e., the GNNs expressive power. Early works in this domain mainly focus on studying the graph isomorphism recognition ability of GNNs, and recent works try to leverage the properties such as subgraph counting and connectivity learning to characterize the expressive power of GNNs, which are more practical and closer to real-world. However, no survey papers and open-source repositories comprehensively summarize and discuss models in this important direction. To fill the gap, we conduct a first survey for models for enhancing expressive power under different forms of definition. Concretely, the models are reviewed based on three categories, i.e., Graph feature enhancement, Graph topology enhancement, and GNNs architecture enhancement.

연구 동기 및 목표

• 기본적인 WL 테스트를 초월한 부분 그래프 수세기, 연결성 학습, 논리적 능력에 관해 종합적인 GNN 표현력 검토가 부족한 데 대비하여 이를 해결하기 위해.
• 특징 임bedding 능력과 위상 표현 능력 간의 차이를 명확히 하여 GNN 표현력 정의를 통일하기 위해.
• GNN 표현력의 주요 제약 요인을 규명하기 위해, 특히 전역 그래프 구조를 포착하지 못하는 점과 순열 불변 집합의 한계를 포함하여.
• 기존 벤치마크와 평가 지표를 비판적으로 분석하여, 합성 데이터셋 사용, 일관되지 않은 기준선 선택, 표현력 평가에 총합 모델 성능을 과도하게 의존하는 문제점을 지적하기 위해.
• 향후 연구 방향을 제안하기 위해, 물리 기반 GNN 설계와 표현력 향상을 위한 그래프 신경망 아키텍처 탐색(GraphNAS)을 중심으로 한다.

제안 방법

• 특징 임bedding 능력과 위상 표현 능력이라는 두 가지 구성요소로 GNN 표현력을 정의하는 통합 이론적 프레임워크를 제안한다.
• 기존의 표현력 향상 방법을 세 가지 범주로 분류한다: 그래프 특징 강화, 그래프 위상 강화, GNN 아키텍처 강화.
• k-WL 계층이 표현력 측정 기준으로서의 한계를 분석하며, k > 3일 경우 정확도가 떨어지고, 더 정교한 평가 계층이 필요하다고 지적한다.
• 메시지 전달 프레임워크를 벗어나 미분기하학과代수적 위상수학을 활용해 더 높은 표현력을 달성하는 물리 기반 GNN을 검토한다.
• 표현력 향상을 위해 그래프 신경망 아키텍처 탐색(GraphNAS)을 저비용이고 자동화된 방법으로 제안하며, 일반화보다 표현력 중심의 탐색 공간이 필요하다고 강조한다.
• 기존 평가 관행을 비판적으로 분석하며, 실제 세계 데이터셋을 기반으로 한 표준화된 벤치마크와, 최종 작업 성능과 독립적인 표현 능력 전용 지표의 필요성을 주장한다.

실험 결과

연구 질문

• RQ1 고전적 WL 테스트를 초월해 GNN 표현력을 정의하는 데 핵심이 되는 구성요소는 무엇인가?
• RQ2 그래프 특징 강화, 위상 강화, 아키텍처 강화는 GNN 표현력 향상에 어떻게 다른 방식으로 기여하는가?
• RQ3 기존의 GNN 표현력 평가 벤치마크와 지표가 왜 신뢰성 없거나 부족하다고 여겨지는가?
• RQ4 GNN 표현력의 근본적 제약 요인은 무엇이며, 순열 불변성과 전역 구조 포착 능력과의 관계는 어떠한가?
• RQ5 물리 기반 모델과 그래프 신경망 아키텍처 탐색(GraphNAS)은 어떻게 더 높은 표현력을 가진 GNN을 설계하는 데 활용될 수 있는가?

주요 결과

• GNN의 표현력은 전역 그래프 위상 구조를 효과적으로 포착하지 못하고 순열 불변성을 유지하지 못함으로써, 비동형 그래프를 구분하는 능력이 제한된다.
• 기존 평가 관행은 합성 데이터셋(특징 없는 노드 포함), 일관되지 않은 기준선 선택, 표현력 평가에 총합 성능을 과도하게 사용함으로써 결함이 있다. 이는 여러 영향 요인을 혼동하게 한다.
• k > 3일 경우 k-WL 계층은 너무 과도하게 일반화되어 있어 신뢰할 수 없는 표현력 평가를 제공하며, 더 정교한 평가 계층 개발이 필수적이다.
• 미분기하학과 대수적 위상수학을 활용해 전통적 메시지 전달 프레임워크를 벗어난 물리 기반 GNN은 더 높은 표현력을 달성할 수 있다.
• 그래프 신경망 아키텍처 탐색(GraphNAS)은 표현력 향상을 위한 유망한 자동화된 경로를 제공하지만, 현재의 탐색 공간은 일반화보다 표현력 중심으로 설계되지 않아 중요한 연구 격차가 존재한다.
• 특징 표현과 위상 표현을 통합한 통합 이론적 프레임워크를 제안하여 GNN 표현력 분석의 표준화를 도모하고, 향후 모델의 체계적 평가 및 비교를 가능하게 한다.