[논문 리뷰] HMSG: Heterogeneous Graph Neural Network based on Metapath Subgraph Learning

Xinjun Cai, Jiaxing Shang외 3명|arXiv (Cornell University)|2021. 09. 07.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

HMSG는 동질적 및 이질적 이웃으로부터의 구조적, 의미적, 속성 정보를 동시에 캡처하기 위해 그래프를 메타패스 기반의 부분그래프로 분해하는 이질적 그래프 신경망을 제안한다. 유형별 메시지 전파와 부분그래프 간 어텐션 기반 집약을 적용함으로써, HMSG는 여러 벤치마크 데이터셋에서 노드 분류, 클러스터링, 링크 예측 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Many real-world data can be represented as heterogeneous graphs with different types of nodes and connections. Heterogeneous graph neural network model aims to embed nodes or subgraphs into low-dimensional vector space for various downstream tasks such as node classification, link prediction, etc. Although several models were proposed recently, they either only aggregate information from the same type of neighbors, or just indiscriminately treat homogeneous and heterogeneous neighbors in the same way. Based on these observations, we propose a new heterogeneous graph neural network model named HMSG to comprehensively capture structural, semantic and attribute information from both homogeneous and heterogeneous neighbors. Specifically, we first decompose the heterogeneous graph into multiple metapath-based homogeneous and heterogeneous subgraphs, and each subgraph associates specific semantic and structural information. Then message aggregation methods are applied to each subgraph independently, so that information can be learned in a more targeted and efficient manner. Through a type-specific attribute transformation, node attributes can also be transferred among different types of nodes. Finally, we fuse information from subgraphs together to get the complete representation. Extensive experiments on several datasets for node classification, node clustering and link prediction tasks show that HMSG achieves the best performance in all evaluation metrics than state-of-the-art baselines.

연구 동기 및 목표

• 기존 이질적 GNN 모델들이 이질적 이웃을 무시하거나 모든 이웃을 동일하게 취급하는 데서 비롯되는 한계를 해결하기 위해.
• 이질적 그래프를 메타패스 기반 부분그래프로 분해하여 더 풍부한 구조적, 의미적, 속성 정보를 캡처하기 위해.
• 유형별 변환을 사용해 동질적 및 이질적 이웃으로부터 별도로 메시지를 집약함으로써 노드 표현 학습을 향상시키기 위해.
• 노드 분류, 클러스터링, 링크 예측과 같은 후행 작업에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 원본 이질적 그래프에서 동질적 및 이질적 모두를 포함한 다수의 메타패스 기반 부분그래프를 구성하여 특정 의미적 및 구조적 관계를 유지한다.
• 각 부분그래프에서 그래프 컨volution 네트워크를 사용해 독립적으로 메시지 전파를 수행하여 이웃 정보를 집약한다.
• 다양한 노드 유형 간에 노드 속성을 이전하고 정렬하기 위해 유형별 속성 변환 레이어를 적용한다.
• 다양한 부분그래프의 표현을 동적으로 집약하기 위해 어텐션 메커니즘을 사용하여 부분그래프 기여도에 대한 적응적 가중치를 부여한다.
• 모든 부분그래프의 출력을 연결하고 비선형 변환을 통해 최종 노드 표현을 얻는다.

실험 결과

연구 질문

• RQ1 동질적 및 이질적 이웃을 별도로 처리하는 이질적 GNN 모델이, 모든 이웃을 동일하게 집약하는 모델보다 더 높은 성능을 낼 수 있는가?
• RQ2 메타패스 기반 부분그래프 분해가 이질적 그래프 내에서 의미적 및 구조적 정보를 얼마나 효과적으로 유지하는가?
• RQ3 유형별 속성 변환을 통합함으로써 이질적 그래프에서 표현 학습이 향상되는가?
• RQ4 다양한 메타패스 부분그래프의 어텐션 기반 융합이 더 강력하고 일반화 능력이 뛰어난 노드 임베딩을 도출할 수 있는가?

주요 결과

• HMSG는 ACM, IMDB, Amazon Review 데이터셋에서 노드 분류 작업 전반에서 평가 지표에서 최고 성능을 기록하며 최신 기술 수준(SOTA) 모델들을 능가한다.
• 링크 예측 작업에서는 Review-I에서 AUC 82.14% 및 AP 81.37%를, Review-II에서 AUC 78.96% 및 AP 79.05%를 기록하여 모든 기준 모델들을 크게 앞서며 뛰어난 성능을 보였다.
• 절단 실험 결과, 동질적 및 이질적 부분그래프를 모두 포함할 경우 성능 향상이 이루어지며, 특히 자기 어텐션 변형(HMSG_atten)이 가장 우수한 종합 성능을 보였다.
• 그래프 컨볼루션 기반 모델인 HMSG는 메타패스2베이트 및 노드2베이트와 같은 무작위 보행 기반 방법보다 모든 작업에서 뛰어난 성능를 보이며, 인덕티브 메시지 전파의 장점을 입증했다.
• 오직 동질적 부분그래프만을 사용하는 변형(HMSG_ho)은 대부분의 작업에서 성능이 열악하여 이질적 이웃을 포함시켜야 하는 필요성을 확인했다.
• 유형별 속성 변환과 어텐션 기반 집약을 도입함으로써 성능 향상이 뚜렷하게 나타났으며, 특히 링크 예측 및 클러스터링 작업에서 두드러진 효과를 보였다.