[논문 리뷰] Direct Multi-hop Attention based Graph Neural Network

Guangtao Wang, Rex Ying외 2명|arXiv (Cornell University)|2020. 09. 29.

Advanced Graph Neural Networks인용 수 22

한 줄 요약

DAGN는 자기주의 주의를 경로를 통해 확산시켜 다단계 이웃 맥락을 포착함으로써 각 레이어에서 장거리 의존성을 가능하게 하는 새로운 그래프 신경망을 제안한다. 이는 인용 네트워크에서 최대 5.7%의 상대 오차 감소를 달성하며 지식 그래프 완성 벤치마크에서도 최고 성능을 기록한다.

ABSTRACT

Introducing self-attention mechanism in graph neural networks (GNNs) achieved state-of-the-art performance for graph representation learning. However, at every layer, attention is only computed between two connected nodes and depends solely on the representation of both nodes. This attention computation cannot account for the multi-hop neighbors which supply graph structure context information and have influence on the node representation learning as well. In this paper, we propose Direct Multi-hop Attention based Graph neural Network (DAGN) for graph representation learning, a principled way to incorporate multi-hop neighboring context into attention computation, enabling long-range interactions at every layer. To compute attention between nodes that are multiple hops away, DAGN diffuses the attention scores from neighboring nodes to non-neighboring nodes, thus increasing the receptive field for every message passing layer. Unlike previous methods, DAGN uses a diffusion prior on attention values, to efficiently account for all paths between the pair of nodes when computing multi-hop attention weights. This helps DAGN capture large-scale structural information in a single layer, and learn more informative attention distribution. Experimental results on standard semi-supervised node classification as well as the knowledge graph completion show that DAGN achieves state-of-the-art results: DAGN achieves up to 5.7% relative error reduction over the previous state-of-the-art on Cora, Citeseer, and Pubmed. DAGN also obtains the best performance on a large-scale Open Graph Benchmark dataset. On knowledge graph completion DAGN advances state-of-the-art on WN18RR and FB15k-237 across four different performance metrics.

연구 동기 및 목표

• 표준 GNN이 직접 이웃에만 주의를 기울여 다단계 이웃의 구조적 맥락을 누락하는 한계를 해결하기 위해.
• 노드 간의 모든 경로에서의 구조적 정보를 통합하여 GNN에서 장거리 메시지 전달을 가능하게 하기 위해.
• 명시적 경로 열거 없이 다단계 경로에 대한 주의를 계산할 수 있는 미분 가능하고 효율적인 메커니즘을 개발하기 위해.
• 모든 경로를 통해 영향력을 집계하는 주의 값의 확산 사전을 활용하여 노드 표현 학습을 향상시키기 위해.
• 준지도 학습 노드 분류 및 지식 그래프 완성 작업에서 최고 성능을 달성하기 위해.

제안 방법

• 이웃 노드에서 비접촉 노드로 주의 점수를 전파하는 확산 기반 메커니즘을 도입하여 직접 간선을 초월한 수용 영역을 확장한다.
• 노드 쌍 간의 모든 가능한 경로를 통해 영향력을 집계하는 주의 가중치에 대한 확산 사전을 활용하여 다단계 의존성을 모델링한다.
• 학습 가능한 확산 행렬을 사용해 그래프를 통해 주의 점수를 확산시켜 명시적 경로 열거 없이 다단계 주의를 계산한다.
• 확산된 주의를 GNN의 메시지 전달 프레임워크에 통합하여 각 레이어가 구조적 맥락을 고려해 먼 노드에 주의를 기울일 수 있도록 한다.
• 노드 표현과 확산된 주의를 조합하는 미분 가능한 주의 메커니즘을 사용해 향상된 노드 임베딩을 생성한다.
• 다중 레이어 GNN 아키텍처에서 각 레이어가 풍부한 장거리 주의 분포로부터 이점을 얻을 수 있도록 방법을 적용한다.

실험 결과

연구 질문

• RQ1 계산 복잡도 증가 없이 다단계 구조적 맥락을 그래프 주의망에 효과적으로 통합할 수 있는가?
• RQ2 노드 쌍 간의 모든 경로에 대해 주의를 모델링할 경우 GNN의 노드 표현 학습에 어떤 영향을 미치는가?
• RQ3 제안된 확산 기반 주의 메커니즘이 노드 분류 및 지식 그래프 완성에서 표준 GNN 및 기존 다단계 방법보다 얼마나 뛰어난가?
• RQ4 이 방법은 인용 네트워크 및 대규모 지식 그래프를 포함한 다양한 그래프 유형에 일반화 가능한가?
• RQ5 확산 기반 주의 메커니즘이 기준 GNN보다 더 강건하고 정보가 풍부한 노드 임베딩을 제공하는가?

주요 결과

• Cora, Citeseer, PubMed 인용 네트워크에서 이전 최고 성능 대비 최대 5.7%의 상대 오차 감소를 달성한다.
• 대규모 오픈 그래프 벤치마크에서 비교된 모든 방법들 중 최고 성능을 기록한다.
• 지식 그래프 완성에서 WN18RR 및 FB15k-237에서 네 가지 평가 지표 모두 새로운 최고 성능을 수립한다.
• 확산된 주의를 통해 장거리 의존성을 포착함으로써 노드 분류 정확도가 크게 향상된다.
• 명시적 경로 열거 없이도 효과적인 구조적 맥락 모델링이 가능하며, 이로 인해 효율성이 유지된다.
• 이론적·실증적으로 다양한 그래프 유형, 특히 전도적 및 인덕티브 학습 설정 모두에서 잘 일반화된다.