[논문 리뷰] TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning

Lu Wang, Xiaofu Chang외 8명|arXiv (Cornell University)|2021. 05. 17.

Advanced Graph Neural Networks참고 문헌 32인용 수 24

한 줄 요약

TCL은 연속 시간(dynamic) 그래프에 대한 그래프 토폴로지 인식 트랜스포머를 도입하고, 시간 이웃 정보를 위한 코-어텐션이 있는 이중 스트림 인코더를 활용하며, 상호 작용 노드 간의 상호 정보를 극대화하기 위한 미래 상태 대비 목표를 사용한다.

ABSTRACT

Dynamic graph modeling has recently attracted much attention due to its extensive applications in many real-world scenarios, such as recommendation systems, financial transactions, and social networks. Although many works have been proposed for dynamic graph modeling in recent years, effective and scalable models are yet to be developed. In this paper, we propose a novel graph neural network approach, called TCL, which deals with the dynamically-evolving graph in a continuous-time fashion and enables effective dynamic node representation learning that captures both the temporal and topology information. Technically, our model contains three novel aspects. First, we generalize the vanilla Transformer to temporal graph learning scenarios and design a graph-topology-aware transformer. Secondly, on top of the proposed graph transformer, we introduce a two-stream encoder that separately extracts representations from temporal neighborhoods associated with the two interaction nodes and then utilizes a co-attentional transformer to model inter-dependencies at a semantic level. Lastly, we are inspired by the recently developed contrastive learning and propose to optimize our model by maximizing mutual information (MI) between the predictive representations of two future interaction nodes. Benefiting from this, our dynamic representations can preserve high-level (or global) semantics about interactions and thus is robust to noisy interactions. To the best of our knowledge, this is the first attempt to apply contrastive learning to representation learning on dynamic graphs. We evaluate our model on four benchmark datasets for interaction prediction and experiment results demonstrate the superiority of our model.

연구 동기 및 목표

• 시간적 진화와 토폴로지를 모두 포착하는 동적 그래프 표현 학습을 동기 부여한다.
• TDIG에서 불규칙한 시간 간격을 처리하는 트랜스포머 기반 프레임워크를 제안한다.
• 상호 작용 노드의 시계열 이웃을 별도로 모델링하고 이를 의미적으로 융합하는 이중 스트림 인코더를 도입한다.
• 미래 상호작용 노드 표현 간의 상호 정보를 최대화하기 위한 대비 학습 목표를 도입한다.

제안 방법

• 시간 간격 및 깊이 임베딩과 함께 vanilla Transformer를 그래프 토폴로지 인식 처리로 확장한다.
• TDIG 구조를 어텐션에 주입해 시간 의존성을 존중하도록 masked multi-head attention을 사용한다.
• 각 상호작용 노드의 시간 이웃을 처리한 다음, 표현을 융합하기 위해 코-어텐션 트랜스포머를 적용하는 이중 스트림 인코더를 구현한다.
• 의존성 노드로부터 미래 노드 표현을 예측하고, 상호 쌍의 미래 노드 표현 간의 합의에 대한 대비 손실로 최적화한다.
• 대응 함수 Sim을 더하기 항과 곱하기 항을 결합하는 Sim 함수를 사용해 대비 목표에서 양성 대 음성 쌍을 점수화한다.

실험 결과

연구 질문

• RQ1 Can a Transformer-based architecture effectively model temporal and topological information in continuous-time dynamic graphs (TDIG)?
• RQ2 Does a two-stream, co-attentional encoder improve dynamic embeddings by leveraging semantic relations between temporal neighborhoods?
• RQ3 Can contrastive learning on future interaction representations yield robust, noise-tolerant dynamic graph representations and improve interaction prediction?

주요 결과

• A graph-topology-aware Transformer with masked attention can encode temporal-topological information in TDIGs.
• A two-stream encoder with a co-attentional Transformer yields more informative dynamic embeddings by modeling cross-neighborhood semantics.
• A contrastive learning objective based on future predictions improves robustness to noise and helps maximize mutual information between interacting nodes.
• The TCL framework shows consistent improvements over baselines on four dynamic interaction datasets (no numerical values provided in the source).