[논문 리뷰] Random Features Strengthen Graph Neural Networks

Ryoma Sato, Makoto Yamada외 1명|arXiv (Cornell University)|2020. 02. 08.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 그래프 신경망(GNNs)의 각 노드에 무작위 특징을 추가함으로써 그 표현 능력을 크게 향상시킨다는 것을 제안한다. 이 간단한 수정을 통해 GNNs가 무작위 알고리즘을 학습할 수 있게 되어, 최소 지배 집합(MDS)과 최대 매칭(MM)과 같은 조합 문제에 대해 임의의 크기의 그래프에서도 near-optimal 근사 비율을 달성하게 되며, 실제 데이터셋에서의 성능은 손상되지 않는다.

ABSTRACT

Graph neural networks (GNNs) are powerful machine learning models for various graph learning tasks. Recently, the limitations of the expressive power of various GNN models have been revealed. For example, GNNs cannot distinguish some non-isomorphic graphs and they cannot learn efficient graph algorithms. In this paper, we demonstrate that GNNs become powerful just by adding a random feature to each node. We prove that the random features enable GNNs to learn almost optimal polynomial-time approximation algorithms for the minimum dominating set problem and maximum matching problem in terms of approximation ratios. The main advantage of our method is that it can be combined with off-the-shelf GNN models with slight modifications. Through experiments, we show that the addition of random features enables GNNs to solve various problems that normal GNNs, including the graph convolutional networks (GCNs) and graph isomorphism networks (GINs), cannot solve.

연구 동기 및 목표

• 표준 GNN의 이론적 한계를 해결하기 위해, 특정 비이sov모르픽 그래프를 구분하지 못하거나 효율적인 그래프 알고리즘을 학습하지 못한다는 점을 해결한다.
• 최소 지배 집합(MDS)과 최대 매칭(MM)과 같은 NP-완전 조합 문제에 대해 GNN의 근사 비율을 향상시키는 것.
• 아키텍처 변경이나 그래프 구조에 대한 사전 지식 없이도 GNN의 표현 능력을 향상시키는 방법을 개발하는 것.
• 모델이 임의의 크기의 그래프, 특히 무한대 크기의 그래프에서도 효과적이고 일반화 가능하도록 보장하는 것.
• 무작위 특징이 GNN이 사이클과 국소 클러스터링 계수와 같은 복잡한 부분 구조를 암묵적으로 학습할 수 있도록 하는 것.

제안 방법

• GNN의 각 노드에 무작위 특징을 도입하여 rGINs(GNNs with Random Features)라고 불리는 변형을 만든다.
• 노드 간에 서로 독립적이고 동일한 분포를 따르는 무작위 특징 벡터를 각 노드에 할당하며, 각 순전파 단계에서 재생성함으로써 모델이 무작위 알고리즘을 시뮬레이션할 수 있도록 한다.
• rGINs가 최고의 다항 시간 알고리즘에 비해 하위항만을 제외한 근사 비율을 학습할 수 있음을 증명한다.
• rGINs와 일정 시간 내에서 분산된 무작위 알고리즘 간의 이론적 동치성을 확립함으로써 이론적 보장을 이행한다.
• 기존 프레임워크와의 호환성을 유지하면서 GCNs와 GINs와 같은 메시지 전달 GNNs에 이 방법을 적용하며 최소한의 수정만을 요구한다.
• t-SNE 시각화와 AUC 점수를 활용해 실험적으로 rGINs가 의미 있는 표현을 학습하고 다양한 무작위 시드와 그래프 크기 간에 일반화됨을 검증한다.

실험 결과

연구 질문

• RQ1 노드에 무작위 특징을 추가하는 것이 1-WL 테스트를 초월해 GNN의 표현 능력을 크게 향상시킬 수 있는가?
• RQ2 rGINs는 MDS와 MM과 같은 기본적인 그래프 문제에 대해 near-optimal 근사 비율을 달성할 수 있는가?
• RQ3 무작위 특징의 추가로 인해 표준 GNN이 실패하는 상황에서도 GNN이 삼각형이나 사이클과 같은 국소 부분 구조를 구분할 수 있는가?
• RQ4 rGINs는 실제 그래프 데이터셋에서의 성능을 유지하거나 향상시킬 수 있는가, 기존 성능에 해를 끼치지 않는가?
• RQ5 rGINs의 이론적 이점이 무한대 크기의 그래프를 포함한 임의의 크기의 그래프에서도 유지되는가?

주요 결과

• 최소 지배 집합 문제에 대해 rGINs는 $ H(\Delta+1) + \varepsilon $ 의 근사 비율을 달성하며, 하위항만을 제외한 최고의 다항 시간 알고리즘과 일치한다.
• 최대 매칭 문제에 대해 rGINs는 $ 1 + \varepsilon $ 의 근사 비율을 달성하며, 알려진 하한선과 일치하며 $ \varepsilon $ 를 제외하면 최적이다.
• rGINs는 MDS에 대한 순차적 그레디 알고리즘을 학습할 수 있으며, 100개 노드를 가진 테스트 그래프에서 높은 AUC 점수로 이를 입증한다. 반면 표준 GINs와 GCNs는 이 패턴을 학습하지 못한다.
• 이 방법을 통해 GNN은 표준 GNN이 수행할 수 없는 삼각형 탐지 및 국소 클러스터링 계수 계산과 같은 국소 부분 구조를 탐지할 수 있다.
• 실제 데이터셋(MUTAG, NCI1, PROTEINS)에서 rGINs는 두 가지 작업에서 GINs보다 통계적으로 유의미한 성능 향상을 보이며, 다른 작업에서는 성능 저하가 발생하지 않는다.
• 다양한 무작위 시드 간에 안정적인 t-SNE 시각화를 통해 rGINs의 노드 임베딩이 무작위 특징의 변동성에 대해 강건함을 보이며 일관된 성능을 유지한다.