[논문 리뷰] Heterogeneous Graph Attention Network

Xiao Wang, Houye Ji외 5명|arXiv (Cornell University)|2019. 03. 18.

Advanced Graph Neural Networks참고 문헌 40인용 수 10

한 줄 요약

이 논문은 다양한 노드 유형과 간선 유형을 가진 이질적 그래프를 모델링하기 위해 계층적 어텐션(노드 수준 및 의미 수준)을 활용하는 새로운 그래프 신경망인 이질적 그래프 어텐션 네트워크(Heterogeneous Graph Attention Network, HAN)를 제안한다. HAN은 개별 이웃과 메타패스에 대한 어텐션 가중치를 학습함으로써 풍부한 의미 정보를 포착하고, 실제 이질적 그래프에서 노드 분류 및 클러스터링 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 어텐션 시각화를 통해 해석 가능성도 향상시킨다.

ABSTRACT

Graph neural network, as a powerful graph representation technique based on deep learning, has shown superior performance and attracted considerable research interest. However, it has not been fully considered in graph neural network for heterogeneous graph which contains different types of nodes and links. The heterogeneity and rich semantic information bring great challenges for designing a graph neural network for heterogeneous graph. Recently, one of the most exciting advancements in deep learning is the attention mechanism, whose great potential has been well demonstrated in various areas. In this paper, we first propose a novel heterogeneous graph neural network based on the hierarchical attention, including node-level and semantic-level attentions. Specifically, the node-level attention aims to learn the importance between a node and its metapath based neighbors, while the semantic-level attention is able to learn the importance of different meta-paths. With the learned importance from both node-level and semantic-level attention, the importance of node and meta-path can be fully considered. Then the proposed model can generate node embedding by aggregating features from meta-path based neighbors in a hierarchical manner. Extensive experimental results on three real-world heterogeneous graphs not only show the superior performance of our proposed model over the state-of-the-arts, but also demonstrate its potentially good interpretability for graph analysis.

연구 동기 및 목표

• 다양한 노드 유형, 간선 유형, 풍부한 의미 관계를 가진 이질적 그래프를 모델링하는 데 도전하는 것.
• 기존 GNN이 직접 적용되지 않는 이질적 그래프에 어텐션 메커니즘을 통합하는 것.
• 노드 수준 어텐션(이웃의 중요도)과 의미 수준 어텐션(메타패스의 중요도)을 함께 모델링하여 의미 있는 표현을 학습하는 것.
• 이질적 그래프에서의 노드 분류 및 클러스터링 작업에서 성능 향상과 해석 가능성 향상을 도모하는 것.
• 어텐션 메커니즘이 실제 네트워크에서 의미적 이질성과 구조적 복잡성을 효과적으로 포착할 수 있음을 입증하는 것.

제안 방법

• 두 수준으로 구성된 계층적 어텐션 메커니즘을 도입: 메타패스 맥락 기반으로 이웃 노드의 중요도를 평가하는 노드 수준 어テン션과, 다양한 메타패스의 중요도를 평가하는 의미 수준 어텐션.
• 메타패스를 구조적 사전 지식으로 사용하여 이웃 관계를 정의함으로써, 의미적으로 유의미한 경로(예: 영화-배우-영화, 영화-감독-영화)를 따라 특징을 집계할 수 있도록 함.
• 학습 안정성 향상과 표현 학습 향상을 위해 다중 헤드 어텐션을 활용하며, 어텐션 쿼리, 키, 밸류에 대해 학습 가능한 파라미터를 사용함.
• 메타패스 기반 이웃에서 어텐션 가중치 합을 사용해 특징을 집계함으로써 구조적 정보와 특징 수준 정보를 모두 유지함.
• 이중 수준 어텐션 메커니즘을 적용: 먼저 메타패스 내 이웃에 대한 어텐션, 그 다음에는 다양한 메타패스에 대한 어텐션을 통해 이질적 의미 신호를 융합함.
• 학습된 노드 임베딩을 2차원 공간으로 투영하기 위해 t-SNE 시각화를 사용하여, HAN이 GCN 및 GAT과 달리 잘 분리된 클러스터를 생성함을 입증함.

실험 결과

연구 질문

• RQ1 다양한 노드 및 간선 유형을 가진 이질적 그래프에 어텐션 메커니즘을 효과적으로 적용할 수 있는가?
• RQ2 계층적 어텐션(노드 수준 및 의미 수준)이 이질적 정보 네트워크에서 표현 학습을 향상시킬 수 있는가?
• RQ3 어떤 메타패스가 실제 그래프에서 의미적으로 중요한지 어텐션 가중치가 어떻게 반영하는가?
• RQ4 제안된 HAN 모델이 기존 GNN 및 메타패스 기반 방법보다 노드 분류 및 클러스터링 작업에서 더 우수한 성능을 보일 수 있는가?
• RQ5 학습된 어텐션 가중치가 특정 메타패스 및 이웃의 중요도에 대해 이해 가능한 통찰을 제공할 수 있는가?

주요 결과

• HAN은 노드 분류 및 클러스터링 작업에서 세 가지 실제 이질적 그래프(IMDB, ACM, DBLP)에서 최신 기술 수준(SOTA) 성능을 달성한다.
• ACM 데이터셋에서 HAN은 클러스터링 시 정규화된 상호정보량(NMI) 점수 0.842를 기록하여 두 번째로 우수한 방법보다 2.5% 높은 성능을 보였다.
• 의미 수준 어텐션은 더 유용한 메타패스에 더 높은 가중치를 할당한다: 예를 들어, DBLP에서 APCPA는 APA나 APTPA보다 유의미하게 높은 어텐션을 받는다.
• t-SNE를 통한 시각화 결과, HAN은 서로 다른 연구 분야의 저자들에 대해 잘 분리된 클러스터를 생성하는 반면, GCN과 GAT은 클래스가 혼합되는 경향을 보였다.
• 모델은 하이퍼파rameter 선택에 대해 강건하며, 임베딩 차원 128과 어텐션 헤드 수 8에서 최적의 성능을 기록한다. 높은 차원에서는 과적합으로 인해 성능이 저하됨을 확인함.
• 단절 실험을 통해 노드 수준 또는 의미 수준 어텐션을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 두 어텐션 메커니즘이 모두 필수적임을 입증함.