[논문 리뷰] Multi-hop Attention Graph Neural Network

Guangtao Wang, Zhitao Ying외 2명|arXiv (Cornell University)|2020. 09. 29.

Advanced Graph Neural Networks참고 문헌 40인용 수 35

한 줄 요약

MAGNA는 GNN에서 확산 기반의 다단계 주의 메커니즘을 도입하여 큰 그래프 이웃에서 맥락 의존적 주의를 가능하게 하고, 노드 분류 및 지식 그래프 보완에서 최첨단 성능을 달성합니다.

ABSTRACT

Self-attention mechanism in graph neural networks (GNNs) led to state-of-the-art performance on many graph representation learning tasks. Currently, at every layer, attention is computed between connected pairs of nodes and depends solely on the representation of the two nodes. However, such attention mechanism does not account for nodes that are not directly connected but provide important network context. Here we propose Multi-hop Attention Graph Neural Network (MAGNA), a principled way to incorporate multi-hop context information into every layer of attention computation. MAGNA diffuses the attention scores across the network, which increases the receptive field for every layer of the GNN. Unlike previous approaches, MAGNA uses a diffusion prior on attention values, to efficiently account for all paths between the pair of disconnected nodes. We demonstrate in theory and experiments that MAGNA captures large-scale structural information in every layer, and has a low-pass effect that eliminates noisy high-frequency information from graph data. Experimental results on node classification as well as the knowledge graph completion benchmarks show that MAGNA achieves state-of-the-art results: MAGNA achieves up to 5.7 percent relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. MAGNA also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion MAGNA advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.

연구 동기 및 목표

• 직접 이웃을 넘는 다-hop 맥락 정보를 포함하여 GNN 주의를 개선하려는 동기를 부여한다.
• 임의의 두 노드 간 맥락 의존 주의를 계산하기 위한 확산 기반 주의 메커니즘을 제안한다.
• 매개변수 효율성을 유지하면서 대규모 구조 정보 처리를 가능하게 한다.
• 표준 노드 분류 벤치마크와 지식 그래프 보완 데이터셋에서 최첨단 성능을 보여준다.

제안 방법

• GAT에서와 같이 간선 수준 주의를 계산한 뒤, 경로 가중치가 감소하는 확산 연산자를 사용하여 모든 경로에 걸쳐 주의 점수를 확산시킨다.
• 확산이 한 홉 주의 행렬의 거듭제곱을 결합하는 확산 행렬 A를 산출하며, 이는 안정적인 반복적 해법(Z^(K) 수렴)으로 근사된다.
• 레이어 정규화와 잔차 연결을 갖춘 다-head 주의 확산 층을 사용하여 MAGNA 블록을 쌓는다.
• MAGNA를 Personalized PageRank와 관련시키고, 확산된 주의가 노드 쌍에 대한 PPR 사전확률에 해당함을 보인다.
• MAGNA가 대규모 구조를 강조하고 고주파 잡음을 줄이는 그래프 저주파 필터로 작동함을 보이는 스펙트럼 분석을 제공한다.

실험 결과

연구 질문

• RQ1 주의 확산을 통한 다-hop 맥락의 도입이 노드 분류 및 지식 그래프 보완에서 GNN 성능을 향상시키는가?
• RQ2 MAGNA가 PPR과 어떻게 연관되며, 그래프 스펙트럼 특성에 어떤 영향을 미치는가?
• RQ3 확산, 레이어 정규화 및 깊은 집계가 MAGNA에서 가져오는 실증적 이점과 제거 실험의 효과는 무엇인가?

주요 결과

모델	Cora	Citeseer	Pubmed
MAGNA	85.4 ± 0.6	73.7 ± 0.5	81.4 ± 0.2

• MAGNA는 Cora, Citeseer, Pubmed에서 노드 분류에 대해 이전 최첨단 대비 최대 5.7% 상대 오류 감소를 달성했다.
• MAGNA는 Open Graph Benchmark(ogbn-arxiv)와 지식 그래프 보완 벤치마크(WN18RR 및 FB15k-237)에서 최첨단 성능을 달성했다.
• 3계층 및 6-hop 폭의 MAGNA는 동일 수용영역에서 18계층의 GAT보다 성능이 우수하여 효율이 향상된다.
• 소거 연구는 확산과 레이어 정규화가 필수적임을 보여주며, 확산이 다-hop 맥락을 가능하게 하고 레이어 정규화가 학습을 안정시킨다.
• 스펙트럼 분석은 MAGNA가 작은 라플라시안 고유값(대규모 구조)을 증폭시키고 큰 고유값(잡음)을 약화시킨다는 것을 시사한다.
• MAGNA는 GAT보다 더 다양한 주의 분포를 학습하여 중요한 노드에 더 잘 집중함을 나타낸다.