[논문 리뷰] Hyperbolic Graph Attention Network

Yiding Zhang, Xiao Wang외 3명|arXiv (Cornell University)|2019. 12. 06.

Advanced Graph Neural Networks참고 문헌 29인용 수 15

한 줄 요약

이 논문은 비유클리드 기하학을 다룰 수 있도록 고르벡터 공간을 사용하여 초등각 공간을 위한 최초의 GNN 프레임워크인 초등각 그래프 어텐션 네트워크(HAT)를 제안한다. 비유클리드 기하학을 다루기 위해 초등각 근접도 기반 어텐션 메커니즘과 로그 및 지수 매핑을 통한 가속 전략을 도입하여 계층적 구조를 가진 네 개의 실세계 데이터셋에서 노드 분류 및 클러스터링 작업에서 최고 성능을 달성한다.

ABSTRACT

Graph neural network (GNN) has shown superior performance in dealing with graphs, which has attracted considerable research attention recently. However, most of the existing GNN models are primarily designed for graphs in Euclidean spaces. Recent research has proven that the graph data exhibits non-Euclidean latent anatomy. Unfortunately, there was rarely study of GNN in non-Euclidean settings so far. To bridge this gap, in this paper, we study the GNN with attention mechanism in hyperbolic spaces at the first attempt. The research of hyperbolic GNN has some unique challenges: since the hyperbolic spaces are not vector spaces, the vector operations (e.g., vector addition, subtraction, and scalar multiplication) cannot be carried. To tackle this problem, we employ the gyrovector spaces, which provide an elegant algebraic formalism for hyperbolic geometry, to transform the features in a graph; and then we propose the hyperbolic proximity based attention mechanism to aggregate the features. Moreover, as mathematical operations in hyperbolic spaces could be more complicated than those in Euclidean spaces, we further devise a novel acceleration strategy using logarithmic and exponential mappings to improve the efficiency of our proposed model. The comprehensive experimental results on four real-world datasets demonstrate the performance of our proposed hyperbolic graph attention network model, by comparisons with other state-of-the-art baseline methods.

연구 동기 및 목표

• 실세계 그래프가 계층적이고 파워 라이드 구조를 띠는 것으로 실험적으로 밝혀졌음에도 불구하고, 비유클리드 초등각 공간을 위한 그래프 신경망이 부족한 문제를 해결하기 위해.
• 표준 벡터 연산(예: 덧셈, 뺄셈)이 초등각 공간에서 벡터 공간이 아니므로 수행하기 어려운 문제를 해결하기 위해.
• 비유클리드 기하학에서 효과적인 특징 집합을 위해 초등각 근접도를 활용하는 어텐션 메커니즘을 설계하기 위해.
• 로그 및 지수 매핑 기반의 가속 전략을 도입하여 초등각 공간에서의 계산 효율성을 향상시키기 위해.
• 나무 모양 또는 스케일 프리 위상 구조를 가진 실세계 데이터셋에서 초등각 GNN의 우수성을 검증하기 위해.

제안 방법

• 초등각 기하학에서의 일반화된 벡터 연산을 가능하게 하여 특징 변환과 집합을 가능하게 하기 위해 고르벡터 공간을 사용한다.
• 초등각 공간 내 기하학적 거리 기반으로 어텐션 점수를 계산하는 초등각 근접도 기반 어텐션 메커니즘을 설계한다.
• 초등각 연산을 탄성 공간 연산으로 변환함으로써 계산을 가속화하기 위해 로그 및 지수 매핑을 활용한다.
• 초등각 어텐션 레이어를 GNN 아키텍처에 통합하여 기저의 초등각 다양체의 곡률을 유지한다.
• 클러스터링 및 시각화와 같은 후속 작업을 위해 학습된 표현을 유클리드 공간으로 투영하기 위해 로그 매핑을 사용한다.
• 노드 분류를 위한 교차 엔트로피 손실과 클러스터링 평가를 위한 K-means을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 계층적 그래프 구조를 더 잘 포착하기 위해 초등각 공간에서 효과적으로 설계되고 훈련된 그래프 신경망을 개발할 수 있는가?
• RQ2 표준 벡터 대수학이 실패하는 비유클리드 초등각 공간에서 어텐션 집합과 같은 벡터 연산을 어떻게 재정의할 수 있는가?
• RQ3 고르벡터 공간을 사용할 경우 초등각 기하학에서 GNN의 표현력과 안정성에 어떤 영향을 미치는가?
• RQ4 로그 및 지수 매핑을 기반으로 한 가속 전략이 기하학적 정확성을 유지하면서도 초등각 GNN의 훈련 효율성을 크게 향상시킬 수 있는가?
• RQ5 실세계 데이터셋에서 그래프 데이터를 초등각 공간에 모델링할 경우, 유클리드 기반 모델 대비 노드 분류 및 클러스터링 작업에서 성능이 향상되는가?

주요 결과

• HAT는 Cora, Citeseer, PubMed, Amazon Photo를 포함한 네 개의 실세계 데이터셋에서 노드 분류 작업에서 최고 성능을 달성한다.
• Amazon Photo 데이터셋에서 HAT는 16개의 어텐션 헤드를 사용할 때 테스트 정확도 0.719를 기록하여 동일한 설정에서 GCN(0.626), GAT(0.659), PoincaréEmb(0.659)를 모두 초월한다.
• 노드 클러스터링에서 HAT는 모든 데이터셋에서 최고의 정규화 상호정보량(NMI)을 기록했으며, Cora에서 최고 NMI 0.439, PubMed에서 0.393를 기록했다.
• PubMed에 대한 시각화 결과 HAT는 GCN 및 GAT보다 더 명확한 클래스 경계를 생성하여 더 나은 표현 분리 능력을 보였다.
• 어텐션 분석 결과 HAT는 같은 클래스의 이웃에 더 높은 어텐션을 할당함으로써 관련이 있는 이웃과 관련이 없는 이웃을 구분할 수 있음을 확인했다.
• 로그 및 지수 매핑 기반의 가속 전략은 기하학적 정확성을 유지하면서도 계산 복잡도를 감소시켰다.