[논문 리뷰] SPAGAN: Shortest Path Graph Attention Network

Yiding Yang, Xinchao Wang외 3명|arXiv (Cornell University)|2021. 01. 10.

Advanced Graph Neural Networks참고 문헌 24인용 수 11

한 줄 요약

SPAGAN은 전통적인 노드 기반 어텐션 대신 최단 경로를 사용하여 전역적인 그래프 구조를 한 번의 레이어에서 캡처하는 새로운 그래프 어텐션 네트워크를 소개한다. 중심 노드에서 고차원 이웃 노드까지의 최단 경로를 계산하고 이러한 경로들에 대해 학습 가능한 어텐션을 적용함으로써, SPAGAN은 향상된 특징 집합과 수렴 안정성을 바탕으로 노드 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph convolutional networks (GCN) have recently demonstrated their potential in analyzing non-grid structure data that can be represented as graphs. The core idea is to encode the local topology of a graph, via convolutions, into the feature of a center node. In this paper, we propose a novel GCN model, which we term as Shortest Path Graph Attention Network (SPAGAN). Unlike conventional GCN models that carry out node-based attentions within each layer, the proposed SPAGAN conducts path-based attention that explicitly accounts for the influence of a sequence of nodes yielding the minimum cost, or shortest path, between the center node and its higher-order neighbors. SPAGAN therefore allows for a more informative and intact exploration of the graph structure and further {a} more effective aggregation of information from distant neighbors into the center node, as compared to node-based GCN methods. We test SPAGAN on the downstream classification task on several standard datasets, and achieve performances superior to the state of the art. Code is publicly available at https://github.com/ihollywhy/SPAGAN.

연구 동기 및 목표

• 깊이 있는 레이어 스타킹에 의존하는 기존 GCN 및 GAT의 한계를 해결하기 위해, 먼 이웃 노드에 도달하기 위해 레이어를 쌓는 방식이 성능 저하와 수렴 문제를 야기하는 것을 해결한다.
• 최단 경로를 활용하여 한 번의 레이어에서 고차원 이웃 노드로부터 효과적이고 안정적인 정보 집합을 가능하게 한다.
• 순차적인 이웃 영역 전파에 의존하는 대신, 노드 간 최소 비용 경로를 명시적으로 탐색하여 전반적인 그래프 구조를 더 견고하게 모델링한다.
• 노드 기반 어텐션을 통해 더 정보가 풍부한 구조적 맥락을 캡처하여 기준 그래프 데이터셋에서 노드 분류 정확도를 향상시킨다.

제안 방법

• SPAGAN은 Dijkstra의 알고리즘을 사용하여 중심 노드에서 고차원 이웃 노드까지의 다양한 길이의 모든 최단 경로를 계산하고, 경로 행렬 𝒫를 구성한다.
• 𝒫에 포함된 각 경로에서 특징을 추출하고, 경로 특징과 노드 표현을 기반으로 경로에서 노드로의 어텐션 계수를 계산하는 경로-노드 어텐션 메커니즘을 적용한다.
• 차별 가능한 경로 어텐션 레이어를 사용하여 노드 임베딩과 경로 어텐션 계수를 반복적으로 업데이트함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 길이의 경로에 대해 학습 가능한 어텐션 가중치를 부여할 수 있는 계층적 경로 어テン션 메커니즘을 도입하여 특징 집합을 향상시킨다.
• 경로 확장에도 불구하고 낮은 메모리 오버헤드를 유지하면서 GPU에서 경로 어텐션을 효율적으로 계산하기 위해 희소 텐서 연산을 사용한다.
• 경로 행렬은 각 반복마다 업데이트된 어텐션 계수를 기반으로 재생성되며, 모델은 교차 엔트로피 손실을 최소화함으로써 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 최단 경로를 기반으로 한 어텐션은 기존의 노드 기반 어텐션 대비 노드 표현 학습에서 성능을 향상시키는가?
• RQ2 최단 경로 기반 경로를 사용하는 단일 레이어 그래프 네트워크가 깊이 있는 스택형 GCN 모델보다 노드 분류 작업에서 더 높은 성능을 내는가?
• RQ3 다양한 길이의 경로에 대해 계층적 어텐션 메커니즘이 모델 성능과 일반화 능력에 미치는 영향은 무엇인가?
• RQ4 핵심 하이퍼파rameter들—경로 샘플링 비율, 최대 경로 깊이, 반복 수—가 모델 수렴과 정확도에 미치는 영향은 무엇인가?

주요 결과

• SPAGAN은 노드 분류에서 최신 기술 수준의 성능을 달성하였으며, Cora에서 83.6%의 정확도를 기록하여 GAT(83.0%)와 SPAGAN_Fix(83.2%)를 모두 초월했다.
• Citeseer에서 SPAGAN은 73.0%의 정확도를 기록하여 GAT(72.5%)와 SPAGAN_Fix(72.4%)를 모두 앞섰다.
• PubMed에서 SPAGAN은 79.6%의 정확도를 기록하여 GAT(79.0%)와 SPAGAN_Fix(79.2%)를 초월했다.
• 제거 분석 결과, 계층적 경로 어텐션 메커니즘이 성능 향상에 크게 기여함을 확인하였으며, 모든 데이터셋에서 SPAGAN은 SPAGAN_Fix를 초월했다.
• 민감도 분석 결과, 1.0의 샘플링 비율(각 노드의 모든 경로 사용)이 가장 뛰어난 성능을 내었고, 수렴을 위해 두 번의 반복만으로도 충분했다.
• 모델은 낮은 메모리 오버헤드를 유지하며, PubMEd에서 약 200MB의 추가 GPU 메모리만 소비하여 대규모 희소 그래프에 실용적으로 적용 가능하다.