[논문 리뷰] Modeling Dynamic Heterogeneous Network for Link Prediction using Hierarchical Attention with Temporal RNN

Hansheng Xue, Luwei Yang외 4명|arXiv (Cornell University)|2020. 04. 01.

Advanced Graph Neural Networks참고 문헌 42인용 수 10

한 줄 요약

이 논문은 네트워크 스냅샷 간의 진화 패턴을 모델링하기 위해 계층적 어텐션과 시간적 어휘 RNN(GRU/LSTM)을 사용하는 동적 이질적 네트워크 임베딩 방법 DyHATR를 제안한다. DyHATR는 네 가지 실세계 데이터셋에서 링크 예측 작업에서 최신 기술들을 뛰어넘는 성능을 보이며, 네트워크의 구조적 이질성과 시간적 동적 변화를 모두 효과적으로 모델링함을 입증한다.

ABSTRACT

Network embedding aims to learn low-dimensional representations of nodes while capturing structure information of networks. It has achieved great success on many tasks of network analysis such as link prediction and node classification. Most of existing network embedding algorithms focus on how to learn static homogeneous networks effectively. However, networks in the real world are more complex, e.g., networks may consist of several types of nodes and edges (called heterogeneous information) and may vary over time in terms of dynamic nodes and edges (called evolutionary patterns). Limited work has been done for network embedding of dynamic heterogeneous networks as it is challenging to learn both evolutionary and heterogeneous information simultaneously. In this paper, we propose a novel dynamic heterogeneous network embedding method, termed as DyHATR, which uses hierarchical attention to learn heterogeneous information and incorporates recurrent neural networks with temporal attention to capture evolutionary patterns. We benchmark our method on four real-world datasets for the task of link prediction. Experimental results show that DyHATR significantly outperforms several state-of-the-art baselines.

연구 동기 및 목표

• 동적 네트워크에서 이질적 정보와 진화 패턴을 동시에 학습하는 도전 과제를 해결하기 위해.
• 정적 스냅샷에서 다수의 노드 및 엣지 유형 간의 구조적 이질성을 통합적으로 포착하는 통합 프레임워크를 개발하기 위해.
• 시간적 어텐션을 갖춘 순환 신경망을 사용하여 동적 네트워크의 장기적 시간적 진화를 모델링하기 위해.
• 동적 링크 예측 작업을 위해 실세계 데이터셋에서 제안된 방법을 평가하기 위해.
• 노드 속성의 통합이 스케일러블성과 성능 향상에 기여하는지 확인하기 위해.

제안 방법

• DyHATR는 정적 네트워크 스냅샷에서의 이질성을 모델링하기 위해 노드 수준 및 엣지 수준의 어텐션을 포함한 계층적 어텐션 메커니즘을 사용한다.
• 순차적 스냅샷를 인코딩하고 시간에 따라 변화하는 노드 표현을 학습하기 위해 시간적 어휘 RNN(GRU 또는 LSTM)을 사용한다.
• 계층적 어텐션 모듈은 다양한 노드 및 엣지 유형 간의 어텐션 가중치를 계산하여 각 스냅샷 내에서 정보성 있는 구조적 패턴을 우선순위로 지정한다.
• 시간적 RNN은 시간에 걸친 어텐션을 통합하여 중요한 스냅샷을 강조하고 장기적인 진화 추세를 포착한다.
• 이질적 구조와 시간적 동적 변화를 모두 고려하여 노드 표현을 반복적으로 갱신하며, 최종 임베딩은 후속 링크 예측 작업에 사용된다.
• 모델은 노드 ID와 선택적 노드 속성을 포함한 입력 특징을 지원하여 속성 부여된 네트워크로의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 통합적인 딥러닝 프레임워크가 동적 네트워크에서 이질적 네트워크 구조와 시간적 진화를 효과적으로 모델링할 수 있는가?
• RQ2 표준 메타패스 기반 방법에 비해 계층적 어텐션은 이질적 정적 스냅샷에서 표현 학습을 어떻게 향상시키는가?
• RQ3 RNN에 통합된 시간적 어텐션은 동적 네트워크에서 장기적인 진화 패턴을 모델링하는 데 얼마나 기여하는가?
• RQ4 어텐션 헤드 수와 임베딩 차원 등의 하이퍼파라미터가 동적 링크 예측 성능에 미치는 영향은 어떠한가?
• RQ5 실세계의 속성 부여된 동적 이질적 네트워크에서 노드 속성의 통합이 링크 예측 성능 향상에 기여하는가?

주요 결과

• 노드 ID와 추가 속성을 사용할 경우, DyHATR는 EComm 데이터셋에서 AUROC 0.704를 기록하여 노드 ID만 사용한 기준선(0.690)을 뛰어넘는다.
• Twitter 데이터셋에서 DyHATR-TGRU는 AUROC 0.688을 기록하며, 동적 링크 예측 분야에서 최신 기술들을 뚜렷이 능가한다.
• 시간적 어텐션과 GRU/LSTM의 조합은 각각의 구성 요소만 사용할 경우보다 더 높은 성능을 내어, 체계적인 어텐션 RNN 설계의 효과성을 입증한다.
• 최적의 성능는 계층적 어텐션에서 4개의 어텐션 헤드와 시간적 어텐션에서 8개의 어텐션 헤드를 사용할 경우에 달성되며, 임베딩 차원 32가 가장 높은 AUROC를 기록한다.
• 더 세밀한 스냅샷 간격(예: 하루 단위)은 더 넓은 간격(예: 이틀 단위)보다 성능 향상을 이룬다. 이는 높은 시간 해상도의 이점이 있음을 확인한다.
• DyHATR-TGRU의 학습 시간은 메타패스2베이트 기반 방법(579초 대비 475초)보다 略로 길지만, 성능 향상의 비용으로 충분히 상쇄된다.