[논문 리뷰] Heterogeneous Temporal Graph Neural Network

Yujie Fan, Mingxuan Ju외 3명|arXiv (Cornell University)|2021. 10. 26.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 OGBN-MAG 및 코로나19 데이터셋과 같은 실세계 이질적 시간적 그래프에서 최고 성능을 기록하는 새로운 GNN 프레임워크인 이질적 시계열 그래프 신경망(HTGNN)을 제안한다. 이 프레임워크는 계층적 집계 메커니즘—내관계 집계, 간관계 집계, 시간 간 집계—을 통해 이질적 공간적 의존성과 시간적 동역학을 동시에 모델링한다.

ABSTRACT

Graph neural networks (GNNs) have been broadly studied on dynamic graphs for their representation learning, majority of which focus on graphs with homogeneous structures in the spatial domain. However, many real-world graphs - i.e., heterogeneous temporal graphs (HTGs) - evolve dynamically in the context of heterogeneous graph structures. The dynamics associated with heterogeneity have posed new challenges for HTG representation learning. To solve this problem, in this paper, we propose heterogeneous temporal graph neural network (HTGNN) to integrate both spatial and temporal dependencies while preserving the heterogeneity to learn node representations over HTGs. Specifically, in each layer of HTGNN, we propose a hierarchical aggregation mechanism, including intra-relation, inter-relation, and across-time aggregations, to jointly model heterogeneous spatial dependencies and temporal dimensions. To retain the heterogeneity, intra-relation aggregation is first performed over each slice of HTG to attentively aggregate information of neighbors with the same type of relation, and then intra-relation aggregation is exploited to gather information over different types of relations; to handle temporal dependencies, across-time aggregation is conducted to exchange information across different graph slices over the HTG. The proposed HTGNN is a holistic framework tailored heterogeneity with evolution in time and space for HTG representation learning. Extensive experiments are conducted on the HTGs built from different real-world datasets and promising results demonstrate the outstanding performance of HTGNN by comparison with state-of-the-art baselines. Our built HTGs and code have been made publicly accessible at: https://github.com/YesLab-Code/HTGNN.

연구 동기 및 목표

• 구조와 특징이 동적으로 변화하는 이질적 시계열 그래프(HTG)에서 표현 학습의 과제를 해결한다.
• 기존 모델이 공간적 및 시간적 의존성을 순차적으로 처리하고 그래프 특성에 민감하다는 한계를 극복한다.
• 동적 HTG에서 이질성의 유지와 함께 공간-시간 상호작용의 통합 모델링을 위한 통합 프레임워크를 개발한다.
• 학술 네트워크와 같이 변화하는 구조를 가진 경우나 전염병 네트워크처럼 변화하는 노드 특성을 가진 경우와 같은 다양한 HTG 유형에 대해 성능에 영향을 받지 않는 모델링을 가능하게 한다.

제안 방법

• 각 HTGNN 레이어에서 계층적 집계 메커니즘을 제안: 동일한 관계 유형 내에서 이웃 정보를 수집하기 위한 내관계 집계를 수행한다.
• 다른 관계 유형 간 정보를 집계하여 공간적 구조의 이질성을 유지하는 간관계 집계를 적용한다.
• 시간 슬라이스 간 정보를 교환하여 시간적 진화를 명시적으로 모델링하는 시간 간 집계를 도입한다.
• 공간적 및 시간적 의존성을 순차적으로 처리하는 대신 통합적으로 처리하는 종합적이고 엔드 투 엔드 프레임워크를 설계한다.
• 내관계 및 간관계 모듈에서 어텐션 메커니즘을 활용하여 이웃 기여도를 동적으로 가중한다.
• 과도한 평균화를 완화하고 다중 레이어에서의 훈련 안정성을 향상시키기 위해 잔차 연결과 정규화를 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 GNN 모델이 변화하는 그래프에서 이질적 공간적 의존성과 시간적 동역학을 효과적으로 포착할 수 있는가?
• RQ2 통합 프레임워크가 구조적 또는 특징 기반의 동적 특성을 고려해 설계된 전용 모델보다 성능이 뛰어날 수 있는가?
• RQ3 내관계, 간관계 및 시간 간 집계가 HTG의 표현 학습에 기여하는 정도는 어느 정도인가?
• RQ4 모델 깊이, 임bedding 차원, 시간 윈도우 크기와 같은 하이퍼파rameter에 대해 제안된 HTGNN의 민감도는 어떠한가?
• RQ5 공간적 및 시간적 차원을 동시에 모델링하면 다양한 HTG 특성에 대해 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• HTGNN은 OGBN-MAG 및 코로나19 데이터셋에서 각각 AUC 91.01±0.77, AP 89.18±1.24의 최고 성능을 기록하며, HTGNN ST 및 HTGNN TS 변종보다 뛰어난 성능을 보였다.
• HTGNN ST는 OGBN-MAG에서 구조적 동역학이 지배하는 경우에 더 우수한 성능(성능: AUC 89.35±0.81)을 보였고, HTGNN TS는 코로나19 데이터셋에서 특징 동역학이 지배하는 경우에 더 뛰어난 성능(성능: AUC 88.01±0.71)을 기록했다.
• 제거 실험 결과, 간관계, 내관계 및 시간 간 집계의 세 가지 구성 요소가 모두 필수적임을 확인했으며, 어느 하나라도 생략된 변종보다 전체 모델이 더 뛰어난 성능을 보였다.
• 모델 깊이에 민감하며, 3~4층에서 성능이 최고에 이르렀다가 과도한 평균화로 인해 감소함을 확인했다.
• 임베딩 차원이 커질수록 초기에는 성능 향상이 있었지만, 너무 높게 설정되면 과적합이 발생함을 확인해 표현 능력에 최적의 범위가 존재함을 시사했다.
• 시간 윈도우 크기는 비단조화적인 영향을 미치며, 일정 범위까지는 윈도우 크기가 커질수록 성능 향상이 있었지만, 이후에는 과거 데이터의 노이즈나 중복으로 인해 변동성이 발생함을 확인했다.