[논문 리뷰] DyHGCN: A Dynamic Heterogeneous Graph Convolutional Network to Learn Users' Dynamic Preferences for Information Diffusion Prediction

Chunyuan Yuan, Jiacheng Li외 4명|arXiv (Cornell University)|2020. 06. 09.

Complex Network Analysis Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 정보 확산 예측을 향상시키기 위해 사용자의 변화하는 선호도를 캡처하기 위해 사회적 네트워크와 동적 확산 그래프를 함께 모델링하는 동적 이질적 그래프 컨볼루션 네트워크인 DyHGCN을 제안한다. 시간 동적성을 인코딩하고 다중 헤드 어텐션을 사용하여 맥락 의존성을 모델링함으로써 DyHGCN는 세 개의 공개 데이터셋에서 최신 기술 대비 뚜렷한 성능 향상을 보이며, 동적 사용자 선호도 모델링의 효과성을 입증한다.

ABSTRACT

Information diffusion prediction is a fundamental task for understanding the information propagation process. It has wide applications in such as misinformation spreading prediction and malicious account detection. Previous works either concentrate on utilizing the context of a single diffusion sequence or using the social network among users for information diffusion prediction. However, the diffusion paths of different messages naturally constitute a dynamic diffusion graph. For one thing, previous works cannot jointly utilize both the social network and diffusion graph for prediction, which is insufficient to model the complexity of the diffusion process and results in unsatisfactory prediction performance. For another, they cannot learn users' dynamic preferences. Intuitively, users' preferences are changing as time goes on and users' personal preference determines whether the user will repost the information. Thus, it is beneficial to consider users' dynamic preferences in information diffusion prediction. In this paper, we propose a novel dynamic heterogeneous graph convolutional network (DyHGCN) to jointly learn the structural characteristics of the social graph and dynamic diffusion graph. Then, we encode the temporal information into the heterogeneous graph to learn the users' dynamic preferences. Finally, we apply multi-head attention to capture the context-dependency of the current diffusion path to facilitate the information diffusion prediction task. Experimental results show that DyHGCN significantly outperforms the state-of-the-art models on three public datasets, which shows the effectiveness of the proposed model.

연구 동기 및 목표

• 기존 모델이 정보 확산 예측에서 사회 네트워크와 동적 확산 그래프를 함께 모델링하지 못하는 한계를 해결하기 위해.
• 사용자의 시간에 따른 변화하는 선호도를 캡처하여, 콘텐츠를 재포스팅할 지 여부에 큰 영향을 미치기 위해.
• 시간 동적성을 그래프 표현에 통합하여 예측 성능을 향상시키기 위해.
• 사용자 상호작용 네트워크의 구조적 정보와 시간 정보를 모두 활용하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 사용자 간의 사회 네트워크 엣지와 시간에 따라 변화하는 확산 관계를 통합한 동적 이질적 그래프를 구축한다.
• 그래프 컨볼루션 네트워크를 적용하여 사회 네트워크와 동적 확산 그래프 양쪽에서 노드 표현을 학습한다.
• 기본 및 현재의 확산 상태를 융합하는 시간 인지 어텐션 메커니즘을 사용하여 시간 정보를 노드 임베딩에 인코딩한다.
• 현재 확산 경로 내의 맥락 의존성을 모델링하기 위해 다중 헤드 어텐션을 활용하여 예측 성능을 향상시킨다.
• 두 그래프 유형에서 유사한 정보를 유지하기 위해 이질적 그래프 인코딩 모듈을 활용한다.
• 미래의 재포스팅을 예측하기 위해 링크 예측 목표를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 사회 네트워크 구조와 동적 확산 그래프를 어떻게 함께 모델링하여 정보 확산 예측을 향상시킬 수 있는가?
• RQ2 시간에 따라 변화하는 상호작용 패턴에 의해 형성되는 사용자들의 동적 선호도는 정보 확산에 어느 정도의 영향을 미치는가?
• RQ3 그래프 표현에 시간 인코딩을 통합하면 사용자 행동을 시간에 따라 더 잘 모델링할 수 있는가?
• RQ4 DyHGCN 아키텍처의 다양한 구성 요소가 전체 예측 성능에 기여하는 방식은 무엇인가?
• RQ5 시간 간격과 어텐션 헤드 수와 같은 하이퍼파rameter의 최적 설정은 무엇인가?

주요 결과

• DyHGCN는 세 개의 공개 데이터셋에서 최신 기술 성능을 달성했으며, 트위터에서 hits@100은 58.85%로, 도우반에서 36.13%로 기록되었다.
• 시간 인지 어텐션 모듈은 하드 선택 전략 대비 hits@100에서 0.5% 향상시켜 시간 표현 융합의 효과성을 입증했다.
• 사회 네트워크 또는 확산 그래프 구성 요소를 제거할 경우 성능이 뚜렷이 저하되며, 이는 두 요소가 정확한 예측에 필수적임을 시사한다.
• 제거 실험 결과, 이질적 그래프 인코딩 모듈이 핵심임을 확인했으며, 이를 제거할 경우 성능 저하가 가장 컸다.
• 민감도 분석 결과, 14개의 어텐션 헤드와 8개의 시간 간격을 사용할 경우 최적의 성능를 기록했으며, 이 이상의 값에서는 수익 감소 현상이 나타났다.