[논문 리뷰] From Graph Low-Rank Global Attention to 2-FWL Approximation.

Omri Puny, Heli Ben-Hamu외 1명|arXiv (Cornell University)|2020. 06. 14.

Advanced Graph Neural Networks참고 문헌 37인용 수 10

한 줄 요약

이 논문은 2-Folklore Weisfeiler-Lehman (2-FWL) 그래프 이somorphism 테스트와 알고리즘적으로 일치시키는 방식으로 일반화 능력을 향상시키는 GNN 모듈인 Low-Rank Global Attention (LRGA)을 제안한다. 2-FWL은 정점 색칠보다 더 강력한 것으로 입증된 방법이다. 다항식 커널을 통해 2-FWL을 수식화하고, LRGA가 표본 복잡도가 유한한 범위 내에서 이 커널의 특징 맵을 근사함으로써, 표준 GNN 벤치마크에서 최고 성능을 달성하며 이론적·실험적 일반화 능력이 향상된다.

ABSTRACT

Graph Neural Networks (GNNs) are known to have an expressive power bounded by that of the vertex coloring algorithm (Xu et al., 2019a; Morris et al., 2018). However, for rich node features, such a bound does not exist and GNNs can be shown to be universal, namely, have the theoretical ability to approximate arbitrary graph functions. It is well known, however, that expressive power alone does not imply good generalization. In an effort to improve generalization of GNNs we suggest the Low-Rank Global Attention (LRGA) module, taking advantage of the efficiency of low rank matrix-vector multiplication, that improves the algorithmic alignment (Xu et al., 2019b) of GNNs with the 2-folklore Weisfeiler-Lehman (FWL) algorithm; 2-FWL is a graph isomorphism algorithm that is strictly more powerful than vertex coloring. Concretely, we: (i) formulate 2-FWL using polynomial kernels; (ii) show LRGA aligns with this 2-FWL formulation; and (iii) bound the sample complexity of the kernel's feature map when learned with a randomly initialized two-layer MLP. The latter means the generalization error can be made arbitrarily small when training LRGA to learn the 2-FWL algorithm. From a practical point of view, augmenting existing GNN layers with LRGA produces state of the art results on most datasets in a GNN standard benchmark.

연구 동기 및 목표

• rich한 노드 특징을 가진 그래프에 대해 표현력과 일반화 능력 사이의 격차를 해소한다.
• 정점 색칠보다 더 강력한 2-Folklore Weisfeiler-Lehman (2-FWL) 알고리즘과의 일치를 통해 일반화 능력을 향상시킨다.
• 2-FWL 알고리즘의 표현력을 근사하면서도 저비용 계산을 유지하는 기울기 가능하고 효율적인 어텐션 메커니즘을 개발한다.
• 랜덤으로 초기화된 두 층의 MLP를 사용할 때 2-FWL 커널의 특징 맵을 학습하는 데 필요한 표본 복잡도를 이론적으로 유 bounds한다.

제안 방법

• 다항식 커널을 사용해 2-FWL 알고리즘을 수식화함으로써 그래프 구조의 기울기 가능하고 학습 가능한 표현을 가능하게 한다.
• 저랭크 행렬-벡터 곱셈을 통해 2-FWL 커널의 특징 맵을 근사하는 기울기 가능한 어텐션 메커니즘으로 Low-Rank Global Attention (LRGA) 모듈을 설계한다.
• 기존 GNN 레이어에 플러그인 모듈로 통합하여 핵심 아키텍처를 변경하지 않고도 표현력을 향상시킨다.
• 이론적 분석을 통해 랜덤으로 초기화된 두 층의 MLP를 사용할 경우 2-FWL 커널의 특징 맵을 유한한 표본 복잡도로 학습할 수 있음을 보였다.
• 저랭크 연산의 효율성을 활용하여 높은 표현력을 유지하면서도 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 2-FWL 그래프 이somorphism 테스트(정점 색칠보다 더 강력함)와 일치하는 기울기 가능한 어텐션 메커니즘을 설계할 수 있는가?
• RQ2 2-FWL 알고리즘은 어떻게 다항식 커널을 통해 재구성할 수 있으며, 이를 통해 GNN에서 기울기 가능 학습을 가능하게 할 수 있는가?
• RQ3 랜덤으로 초기화된 두 층의 MLP를 사용해 2-FWL 커널의 특징 맵을 학습할 때 표본 복잡도는 얼마인가?
• RQ4 기존 방법과 비교해 LRGA를 GNN에 통합했을 때 일반화 능력과 표준 벤치마크 성능이 향상되는가?

주요 결과

• 2-FWL 알고리즘은 다항식 커널을 통해 재구성할 수 있으며, 이는 그래프 구조의 기울기 가능하고 학습 가능한 표현을 가능하게 한다.
• LRGA 모듈은 2-FWL 커널의 특징 맵과 일치하여 정점 색칠이 표현할 수 없는 고차원 그래프 구조를 효과적으로 포착한다.
• 랜덤으로 초기화된 두 층의 MLP를 사용할 경우 2-FWL 커널의 특징 맵을 학습하는 데 필요한 표본 복잡도가 유한한 범위 내에 제한되며, 충분한 학습 데이터가 제공될 경우 일반화가 보장된다.
• LRGA를 통합한 기존 GNN 레이어는 표준 GNN 벤치마크 세트의 대부분의 데이터셋에서 최고 성능을 달성한다.