[논문 리뷰] Self-Supervised Dynamic Graph Representation Learning via Temporal Subgraph Contrast

Linpu Jiang, Kejia Chen외 1명|arXiv (Cornell University)|2021. 12. 16.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 시간적 하위그래프—즉, 구조적 정보와 타임스탬프가 부여된 간선 정보를 모두 사용해 샘플링한 하위그래프—간의 대비를 통해 노드 표현을 향상시키는 자기지도 학습 동적 그래프 표현 학습 프레임워크인 DySubC를 제안한다. 구조적 및 시간적 대비 손실를 동시에 최적화함으로써 DySubC는 다섯 개인 실세계 데이터셋에서 링크 예측 성능이 최신 기술 수준을 넘어서며, 시간 역학이 표현 품질 향상에 핵심적인 역할을 한다는 것을 입증한다.

ABSTRACT

Self-supervised learning on graphs has recently drawn a lot of attention due to its independence from labels and its robustness in representation. Current studies on this topic mainly use static information such as graph structures but cannot well capture dynamic information such as timestamps of edges. Realistic graphs are often dynamic, which means the interaction between nodes occurs at a specific time. This paper proposes a self-supervised dynamic graph representation learning framework (DySubC), which defines a temporal subgraph contrastive learning task to simultaneously learn the structural and evolutional features of a dynamic graph. Specifically, a novel temporal subgraph sampling strategy is firstly proposed, which takes each node of the dynamic graph as the central node and uses both neighborhood structures and edge timestamps to sample the corresponding temporal subgraph. The subgraph representation function is then designed according to the influence of neighborhood nodes on the central node after encoding the nodes in each subgraph. Finally, the structural and temporal contrastive loss are defined to maximize the mutual information between node representation and temporal subgraph representation. Experiments on five real-world datasets demonstrate that (1) DySubC performs better than the related baselines including two graph contrastive learning models and four dynamic graph representation learning models in the downstream link prediction task, and (2) the use of temporal information can not only sample more effective subgraphs, but also learn better representation by temporal contrastive loss.

연구 동기 및 목표

• 동적 그래프의 시간적 진화를 포착하는 데에 정적 그래프 표현 학습의 한계를 해결하기 위해.
• 동적 그래프에서 구조적 및 시간적 역학을 동시에 모델링하는 자기지도 학습 프레임워크를 개발하기 위해.
• 하위그래프 샘플링 및 대비 학습에 간선 타임스탬프를 통합하여 노드 표현 품질을 향상시키기 위해.
• 시간 정보가 하위그래프 샘플링의 효율성과 최종 표현 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• 각 노드를 중심으로 하여 근접성과 간선 타임스탬프를 기반으로 이웃을 샘플링하는 새로운 시간적 하위그래프 샘플링 전략을 제안한다.
• 각 샘플된 시간적 하위그래프를 처리하기 위해 시간에 민감한 GNN 인코더를 사용하여 노드 및 하위그래프 표현을 생성한다.
• 최근 상호작용에 더 큰 강조를 두기 위해 시간 가중 읽기 함수를 정의하여 시간적 하위그래프의 요약을 계산한다.
• 노드 표현과 해당하는 시간적 하위그래프 표현 간의 상호정보량을 최대화하기 위해 구조적 및 시간적 대비 손실를 정의한다.
• 양의 쌍(중심 노드와 시간 가중 하위그래프), 구조적 음의 쌍(기타 하위그래프), 시간 음의 쌍(가중치가 없는 하위그래프)을 사용하여 모델을 훈련한다.
• 하이퍼파ram터 α와 β는 각각 샘플링 및 표현에서 구조적 및 시간적 정보의 균형을 조절한다.

실험 결과

연구 질문

• RQ1 하위그래프 샘플링에 간선 타임스탬프를 통합하면 동적 그래프 표현의 품질이 향상되는가?
• RQ2 시간적 대비 학습은 정적 또는 순수하게 구조적인 대비 방법에 비해 더 나은 노드 표현 학습을 이끌어내는가?
• RQ3 하위그래프 크기와 하이퍼파ram터 α 및 β는 제안된 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ4 시간 정보는 동적 그래프에서 링크 예측 성능 향상에 어느 정도 기여하는가?

주요 결과

• DySubC는 다섯 개인 실세계 데이터셋에서 네 개의 동적 그래프 학습 모델과 두 개의 그래프 대비 학습 모델을 모두 능가하는 링크 예측 성능을 보였다.
• fb-forum 데이터셋에서 시간 향상 모듈을 활성화했을 때 DySubC는 기본 모델 대비 AUC 점수를 0.05 향상시켰다.
• 하위그래프 크기 분석 결과, 모든 데이터셋에서 크기 20에서 최적의 성능를 기록했으며, 더 큰 크기(예: 100)는 fb-forum와 같이 작은 그래프에서는 성능 저하를 초래했다.
• 민감도 분석 결과, α = 10 및 β = 1.6에서 최고의 성능를 기록하여, 하위그래프 샘플링 및 표현에서 구조적 및 시간적 정보가 모두 핵심임을 확인했다.
• t-SNE 시각화 결과, DySubC는 최근 상호작용 기반으로 노드를 더 잘 군집화하는 반면, Sub-Con은 이러한 시간적 근접성을 포착하지 못했다.
• 하이퍼파ram터가 중앙값 주변에서 변동해도 모델은 안정적인 학습 동역학을 보이며, 시간적 및 구조적 신호가 균형을 이루었을 때 강건함을 입증했다.