[논문 리뷰] Weisfeiler and Leman go sparse: Towards scalable higher-order graph embeddings

Christopher Morris, Gaurav Rattan외 1명|arXiv (Cornell University)|2019. 04. 02.

Machine Learning in Materials Science참고 문헌 125인용 수 29

한 줄 요약

이 논문은 정점의 차수를 기반으로 이웃 탐색을 일부 이웃으로 제한함으로써 확장성과 일반화 능력을 향상시키는, k차원 Weisfeiler-Leman 알고리즘의 희소이고 局소적인 변종인 δ-k-LWL을 제안한다. 이 방법은 그래프 표현 학습에서 상태 기반 성능을 달성하며, 밀도 있는 k-WL 기반 방법보다 빠르고 일반화 능력이 뛰어나면서도 원래 k-WL 알고리즘보다 높은 표현 능력을 유지한다.

ABSTRACT

Graph kernels based on the $1$-dimensional Weisfeiler-Leman algorithm and corresponding neural architectures recently emerged as powerful tools for (supervised) learning with graphs. However, due to the purely local nature of the algorithms, they might miss essential patterns in the given data and can only handle binary relations. The $k$-dimensional Weisfeiler-Leman algorithm addresses this by considering $k$-tuples, defined over the set of vertices, and defines a suitable notion of adjacency between these vertex tuples. Hence, it accounts for the higher-order interactions between vertices. However, it does not scale and may suffer from overfitting when used in a machine learning setting. Hence, it remains an important open problem to design WL-based graph learning methods that are simultaneously expressive, scalable, and non-overfitting. Here, we propose local variants and corresponding neural architectures, which consider a subset of the original neighborhood, making them more scalable, and less prone to overfitting. The expressive power of (one of) our algorithms is strictly higher than the original algorithm, in terms of ability to distinguish non-isomorphic graphs. Our experimental study confirms that the local algorithms, both kernel and neural architectures, lead to vastly reduced computation times, and prevent overfitting. The kernel version establishes a new state-of-the-art for graph classification on a wide range of benchmark datasets, while the neural version shows promising performance on large-scale molecular regression tasks.

연구 동기 및 목표

• 그래프 학습에서 k차원 Weisfeiler-Leman(k-WL) 알고리즘의 확장성과 과적합 문제를 해결하기 위해.
• 각 k-튜플이 일부 이웃만 고려하는 국소적 변종을 개발하여 계산 효율성을 향상시키기 위해.
• 비이sovolumetric 그래프를 구별하는 데 있어 k-WL의 표현 능력을 유지하거나 초월하기 위해.
• δ-k-LWL와 동일한 표현 능력을 갖는 신경망 아키텍처인 δ-k-LGNN을 설계하고, 밀도 있는 k-WL 기반 GNN보다 더 뛰어난 일반화 능력을 확보하기 위해.
• 기본 그래프 분류 및 대규모 분자의 회귀 작업에서의 방법에 대한 실증적 검증을 수행하기 위해.

제안 방법

• 정점의 차수를 기반으로 이웃 탐색을 일부 이웃으로 제한함으로써 계산 비용을 줄이는 국소적 k-WL 변종인 δ-k-LWL을 제안한다.
• 구성 요소 정점의 차수를 기반으로 k-튜플 간의 국소적 인접 관계를 정의하여 희소 계산을 가능하게 한다.
• 최종 반복에서 레이블 함수 (#) 를 추가함으로써 과적합을 방지하는 개선된 버전인 δ-k-LWL+ 를 도입한다.
• 국소적 이웃 집합을 사용하는 국소적 이웃 집계를 활용하여 δ-k-LWL과 동일한 표현 능력을 갖는 고차원 GNN 아키텍처인 δ-k-LGNN 을 개발한다.
• δ-k-LWL 이 밀도 있는 k-WL 기반 모델보다 일반화 능력 향상을 보임을 보여주며, GNN의 일반화 이론과 연결한다.
• 비이sovolumetric 그래프 쌍의 계층적 구성 방법을 통해 δ-k-LWL 이 k-WL 에 비해 증가된 표현 능력을 갖는다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 k-WL의 국소적 변종이 원래 k-WL 보다 비이sovolumetric 그래프를 구별하는 데 더 높은 표현 능력을 갖출 수 있는가?
• RQ2 정점의 차수를 기반으로 이웃 크기를 제한함으로써 그래프 학습에서 확장성 향상과 과적합 감소가 가능한가?
• RQ3 국소적 k-WL 기반 신경망 아키텍처가 k-WL 과 동일한 표현 능력을 갖는 동시에 더 나은 일반화 능력을 달성할 수 있는가?
• RQ4 정확도, 속도, 일반화 능력 측면에서 제안된 국소적 k-WL 방법이 최신 그래프 커널 및 GNN과 비교해 어떻게 성능을 내는가?
• RQ5 국소적 k-WL 접근법은 대규모 분자의 회귀 작업에 확장되어도 높은 성능을 유지할 수 있는가?

주요 결과

• δ-k-LWL 알고리즘은 원래 k-WL 보다 엄격히 더 높은 표현 능력을 갖추고 있으며, k-WL이 구별하지 못하는 비이sovolumetric 그래프를도 식별할 수 있다.
• δ-k-LWL 커널은 다양한 소형 및 중형 규모의 그래프 분류 벤치마크에서 새로운 최고 성능을 달성한다.
• δ-k-LWL 커널은 전역적 k-WL 및 WLOA 방법 대비 계산 시간을 수 개의 지수 정도로 감소시킨다.
• 신경망 아키텍처인 δ-k-LGNN 은 과적합을 방지하고 Zinc 및 Alchemy 와 같은 대규모 분자의 회귀 작업에서 유망한 성능을 보인다.
• δ-k-LGNN 의 학습 및 추론 시간은 밀도 있는 k-WL 기반 GNN보다 뚜렷이 빠르며, 대규모 데이터셋에서 수 배의 속도 향상을 보인다.
• 과적합 감소와 다수의 데이터셋에서의 일관된 성능을 바탕으로, 이 방법은 밀도 있는 k-WL 기반 모델보다 더 뛰어난 일반화 능력을 갖춘다.