[논문 리뷰] Global Attention Improves Graph Networks Generalization

Omri Puny, Heli Ben-Hamu외 1명|arXiv (Cornell University)|2020. 06. 14.

Advanced Graph Neural Networks참고 문헌 56인용 수 11

한 줄 요약

이 논문은 메모리 및 계산 비용을 절감하는 저랭크 전역 어텐션(Low-Rank Global Attention, LRGA)을 소개한다. LRGA는 그래프 신경망(GNNs)의 일반화 능력을 향상시켜, 이론적 표현력의 한계를 초월해 실질적으로 잘 작동하는 GNN의 일반화 능력을 향상시킨다. Random Graph Neural Network(RGNN) 프레임워크에 LRGA를 통합함으로써, 2-폴드-위스프일러-레만(2-Folklore Weisfeiler-Lehman, 2-FWL) 이sovomorphism 테스트와 알고리즘적 일치를 이룩하게 되었으며, 이는 그래프 분류, 회귀, 링크 예측 등 다양한 GNN 벤치마크에서 최고 성능을 기록하게 되었다.

ABSTRACT

This paper advocates incorporating a Low-Rank Global Attention (LRGA) module, a computation and memory efficient variant of the dot-product attention (Vaswani et al., 2017), to Graph Neural Networks (GNNs) for improving their generalization power. To theoretically quantify the generalization properties granted by adding the LRGA module to GNNs, we focus on a specific family of expressive GNNs and show that augmenting it with LRGA provides algorithmic alignment to a powerful graph isomorphism test, namely the 2-Folklore Weisfeiler-Lehman (2-FWL) algorithm. In more detail we: (i) consider the recent Random Graph Neural Network (RGNN) (Sato et al., 2020) framework and prove that it is universal in probability; (ii) show that RGNN augmented with LRGA aligns with 2-FWL update step via polynomial kernels; and (iii) bound the sample complexity of the kernel's feature map when learned with a randomly initialized two-layer MLP. From a practical point of view, augmenting existing GNN layers with LRGA produces state of the art results in current GNN benchmarks. Lastly, we observe that augmenting various GNN architectures with LRGA often closes the performance gap between different models.

연구 동기 및 목표

• 그래프 신경망(GNNs)의 일반화 능력을 향상시키는 것. GNNs는 이론적으로 표현력에 한계가 있음에도 불구하고 실질적으로 잘 작동하는 경향이 있다.
• 기본 전역 어텐션의 높은 계산 비용 문제를 해결하는 것. GNN에서 표준 전역 어텐션은 그래프 크기에 따라 제곱적으로 증가한다.
• 강력한 그래프 이sovomorphism 테스트와의 알고리즘적 일치를 통해 GNN 내 어텐션 메커니즘의 일반화 성과를 이론적으로 정당화하는 것.
• 실증적으로 LRGA가 다양한 GNN 아키텍처와 벤치마크에서 성능 향상을 이끌어내는지 검증하는 것.

제안 방법

• 저랭크 전역 어텐션(Low-Rank Global Attention, LRGA)을 제안한다. 이는 내적 곱 어텐션의 변종으로, 복잡도를 O(κ²|V|)의 계산량과 O(κ|V|)의 메모리로 줄이는 랭크-κ 근사 기법을 사용한다.
• 무작위 그래프 신경망(Random Graph Neural Network, RGNN) 프레임워크를 도입한다. 이는 각 전방향 프로세스에서 무작위 특징을 재표본 추출하며, 확률적으로 보편적임을 증명한다.
• RGNN에 LRGA를 적용하면 다항식 커널을 통해 단항식 함수를 학습함으로써 2-FWL 그래프 이sovomorphism 테스트와 일치함을 입증한다.
• 무작위로 초기화된 두 층의 완전 연결 신경망으로 학습된 커널의 특징 맵의 표본 복잡도를 유도함으로써 일반화 보장을 제공한다.
• OGB 및 ZINC을 포함한 다양한 벤치마크 데이터셋에서 GCN, GAT, GraphSage, GatedGCN, GIN 등의 다수 GNN 아키텍처에서 LRGA의 실증적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 저랭크 전역 어텐션 메커니즘은 표현력의 한계를 초월해 GNN의 일반화 능력을 향상시킬 수 있는가?
• RQ2 GNN에 LRGA를 통합하면 2-FWL 이sovomorphism 테스트와 알고리즘적 일치를 이룰 수 있는가? 이는 WL 테스트보다 더 강력한 그래프 이sovomorphism 기준이다.
• RQ3 RGNN 프레임워크 내에서 LRGA를 통해 2-FWL 업데이트 규칙을 학습할 경우 표본 복잡도는 얼마인가?
• RQ4 LRGA는 다양한 GNN 아키텍처와 그래프 학습 작업 전반에서 일관되게 성능 향상을 이끌어낼 수 있는가?

주요 결과

• 모든 평가된 GNN 모델과 데이터셋에서 LRGA가 성능 향상을 이끌었으며, 그래프 분류 및 회귀 작업에서 종종 최고 성능을 기록했다.
• OGB 링크 예측 벤치마크에서, LRGA를 통한 GCN는 ogbl-ppa에서 Hits@100이 0.342 ± 0.016을 기록하여 Node2vec와 DeepWalk를 뛰어넘었다.
• ogbl-collab 데이터셋에서, LRGA + GCN는 Hits@50가 0.522 ± 0.007을 기록하여 2위인 GraphSage보다 4퍼센트 이상 높았다.
• ogbl-ddi에서, LRGA + GCN는 Hits@20가 0.623 ± 0.091을 기록하여 MF와 GraphSage를 크게 앞섰다.
• 무작위 특징을 사용한 PATTERN에서의 추론 분석에서, LRGA + GIN은 86.765%의 정확도를 기록했으며, GIN 단독 대비 1.005% 향상된 성능을 보였다.
• LRGA는 다양한 GNN 아키텍처 간의 성능 격차를 지속적으로 줄여주며, 일반화의 안정성과 향상에 기여함을 시사한다.