[논문 리뷰] Graph Attention Networks

Petar Veličković, Guillem Cucurull외 4명|arXiv (Cornell University)|2017. 10. 30.

Advanced Graph Neural Networks인용 수 8,277

한 줄 요약

이 논문은 메시지 전파 중 이웃 노드에 대해 동적으로 다른 가중치를 할당하는 학습 가능한 자기주의 메커니즘을 사용하는 새로운 그래프 신경망 아키텍처인 그래프 어텐션 네트워크(GATs)를 소개한다. 그래프 구조 지식을 사전에 필요로 하지 않고 노드 이웃에 대해 마스킹된 멀티헤드 어텐션을 적용함으로써, GATs는 Cora, Citeseer, PubMed 및 새로운 그래프를 포함한 단백질-단백질 상호작용 데이터셋을 포함한 이행적 및 인덕티브 노드 분류 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).

연구 동기 및 목표

• 고정된 그래프 구조에 의존하고 고비용 행렬 연산을 요구하는 스펙트럴 기반 그래프 신경망의 한계를 해결하기 위해.
• 그래프 구조 데이터를 위한 완전히 미분 가능한, 효율적이고 인덕티브 메시지 전달 메커니즘을 개발하기 위해.
• 그래프 구조 지식 없이도 이웃 노드 간의 중요도를 다르게 부여할 수 있도록 하기 위해.
• 특히 새로운 그래프에서의 성능 향상을 위해 이행적 및 인덕티브 노드 분류 작업에서 성능을 향상시키기 위해.
• 비정규적인 그래프 도메인에서 구조적 종속성을 포착하는 데 어텐션 메커니즘의 이점을 탐색하기 위해.

제안 방법

• 공유 가능한 학습 가능한 매개변수 행렬을 사용하여 노드와 그 이웃 간의 어텐션 계수를 계산하는 그래프 어텐션 레이어를 제안한다.
• 학습 안정성을 향상시키고 모델이 특징 표현의 다양한 부분공간에 주목할 수 있도록 마스킹된 멀티헤드 어텐션을 적용한다.
• 소프트맥스 정규화 어텐션 메커니즘을 사용하여 이웃 특징의 가중 평균을 계산함으로써 동적이고 적응적인 집계를 가능하게 한다.
• 깊이 있는 계층적 표현을 학습하기 위해 다수의 그래프 어텐션 레이어를 스택하고, 학습 안정성을 위해 잔차 연결을 사용한다.
• 모든 간선에 걸쳐 매개변수 공유 메커니즘을 적용하여 모델의 확장성과 병렬 처리 가능성을 높인다.
• 학습 가능한 어텐션 가중치의 기여도를 분석하기 위해 상수 어텐션 변형(Cons-GAT)을 도입한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 그래프 구조 데이터에 효과적으로 적응되어 노드 표현 학습을 향상시킬 수 있는가?
• RQ2 이웃 노드에 대해 동적 어텐션 가중치를 학습하는 것이 GCN와 같은 고정된 집계 방식보다 성능을 향상시키는가?
• RQ3 학습 중에 볼 수 없었던 그래프를 포함한 인덕티브 작업으로 일반화할 수 있는가?
• RQ4 어텐션 메커니즘이 그래프 신경망에서의 해석 가능성과 특징 학습을 어떻게 향상시키는가?
• RQ5 멀티헤드 어텐션은 모델 성능과 내구성에 어떤 영향을 미치는가?

주요 결과

• GAT은 Cora 인용 네트워크에서 최신 기술 성능(SOTA)을 달성하여 F1 스코어 83.0 ± 0.7%를 기록하며, GCN보다 1.5% 향상되었다.
• Citeseer에서 GAT은 F1 스코어 72.5 ± 0.7%를 기록하여 GCN 대비 1.6% 향상되었으며, 적응형 이웃 가중치의 이점이 입증되었다.
• PubMed에서 GAT은 GCN와 동일한 성능 79.0 ± 0.3%를 기록하여 대규모 인용 네트워크에서 강력한 성능을 확인했다.
• 인덕티브 PPI 데이터셋에서 GAT은 정확도 97.3 ± 0.002%를 기록하여 최고의 GraphSAGE 결과 대비 20.5% 향상되었고, 상수 어텐션 기반 모델(Const-GAT) 대비 3.9% 향상되었다.
• t-SNE를 사용한 특징 표현 시각화 결과, 명확한 클래스별 군집화가 관찰되어 강력한 구분 능력을 보였다.
• 제거 실험 결과 어텐션 메커니즘이 필수적임을 확인하였으며, 상수 어텐션 변형(Const-GAT)은 전체 GAT 모델에 비해 상당히 성능이 열 劣했다.