[논문 리뷰] Weisfeiler and Leman go Machine Learning: The Story so far

Christopher G. Morris, Yaron Lipman외 6명|arXiv (Cornell University)|2021. 12. 18.

Advanced Graph Neural Networks인용 수 28

한 줄 요약

Weisfeiler–Leman 알고리즘이 그래프 기반 머신러닝의 토대가 되는 방법에 대한 포괄적 고찰로, 이론, 그래프 커널, GNN, 등가적 네트워크, 그리고 응용을 포함한다.

ABSTRACT

In recent years, algorithms and neural architectures based on the Weisfeiler--Leman algorithm, a well-known heuristic for the graph isomorphism problem, have emerged as a powerful tool for machine learning with graphs and relational data. Here, we give a comprehensive overview of the algorithm's use in a machine-learning setting, focusing on the supervised regime. We discuss the theoretical background, show how to use it for supervised graph and node representation learning, discuss recent extensions, and outline the algorithm's connection to (permutation-)equivariant neural architectures. Moreover, we give an overview of current applications and future directions to stimulate further research.

연구 동기 및 목표

• Weisfeiler–Leman 알고리즘과 그래프 동형사상에 대한 일반화의 이론적 기초를 조사한다.
• WL 패러다임에 기초한 그래프 커널 접근법을 검토한다.
• WL 기반 방법과 그래프 신경망(GNNs)의 연결고리를 살펴본다.
• 고차원 WL, 등가적 신경망 아키텍처, 그리고 보편성 결과에 대한 확장을 논의한다.
• WL 가이드 그래프 학습의 현재 응용, 도전 과제 및 향후 연구 방향을 개요한다.

제안 방법

• 1-WL(색상 세분화)와 비동형 그래프를 구분하는 능력을 설명한다.
• 노드의 k-튜플을 색칠함으로써 표현력을 높이는 k차원 WL로 일반화한다.
• 무지향 Oblivious k-WL 변형을 도입하고 그 표현력을 비교한다.
• 동등성과 보편성 결과를 통해 WL 기반 방법을 그래프 커널 및 신경망 아키텍처와 연계한다.
• 식별성, 미노르 폐쇄 그래프 클래스, 및 WL 차원 등 이론적 특성을 논의한다.

실험 결과

연구 질문

• RQ1 Weisfeiler–Leman 계층이 ML에서 그래프 표현의 표현력과 어떻게 관련되는가?
• RQ2 구별력과 보편성 측면에서 WL 기반 방법과 그래프 신경망(GNN) 간의 연결고리는 무엇인가?
• RQ3 고차원 WL과 등가적 아키텍처가 WL 기반 그래프 학습의 역량을 어떻게 확장하는가?
• RQ4 ML에서 WL 가이드 그래프 학습의 현재 응용, 도전 과제 및 향후 방향은 무엇인가?

주요 결과

• 1-WL은 그래프 동형사상에 대해 강력하면서도 완벽하지 않은 휴리스틱으로, 많은 그래프를 구분하지만 알려진 한계가 있다.
• WL 차원 k를 증가시키면 표현력이 증가하며, k+1-WL은 k-WL이 구분하지 못하는 특정 그래프를 구분할 수 있다.
• k-WL로는 구분되지 않지만 (k+1)-WL로는 구분되는 그래프가 존재하며, 표현력의 계층을 확립한다.
• WL과 그래프 신경망 간의 연계는 표준 GNN이 1-WL의 표현력에 의해 한정됨을 보여주고, 고차 GNN은 더 높은 WL 변형과 맞닿아 보편성은 특정 조건에서 달성될 수 있음을 시사한다.
• 등가적 및 고차 그래프 네트워크는 WL 계층과 밀접하게 연관되며, 그래프 구조 데이터에 대해 강력한 표현력을 갖는 원리적으로 설계된 아키텍처를 제공한다.
• WL 프레임워크는 다양한 응용에 정보를 제공하며, WL 기반 ML 방법의 표현력, 일반화 및 견고성을 확장하는 향후 방향을 가리킨다.