[논문 리뷰] Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment

Meng Liu, Ke Liang외 6명|arXiv (Cornell University)|2023. 02. 15.

Advanced Graph Neural Networks참고 문헌 69인용 수 6

한 줄 요약

이 논문은 시간적 및 구조적 강도 표현을 정렬함으로써 노드 표현 품질을 향상시키는 자기지도 학습 시간 그래프 학습 방법인 S2T를 제안한다. 허크스 과정을 통해 일阶 시간 동역학을 통합하고 국소 및 전역 그래프 모듈을 통해 고계 구조 정보를 활용함으로써 S2T는 새로운 정렬 손실을 통해 이러한 강도 간 격차를 줄이며, 여러 데이터셋에서 최신 기법 대비 최대 10.13%의 성능 향상을 달성한다.

ABSTRACT

Temporal graph learning aims to generate high-quality representations for graph-based tasks with dynamic information, which has recently garnered increasing attention. In contrast to static graphs, temporal graphs are typically organized as node interaction sequences over continuous time rather than an adjacency matrix. Most temporal graph learning methods model current interactions by incorporating historical neighborhood. However, such methods only consider first-order temporal information while disregarding crucial high-order structural information, resulting in suboptimal performance. To address this issue, we propose a self-supervised method called S2T for temporal graph learning, which extracts both temporal and structural information to learn more informative node representations. Notably, the initial node representations combine first-order temporal and high-order structural information differently to calculate two conditional intensities. An alignment loss is then introduced to optimize the node representations, narrowing the gap between the two intensities and making them more informative. Concretely, in addition to modeling temporal information using historical neighbor sequences, we further consider structural knowledge at both local and global levels. At the local level, we generate structural intensity by aggregating features from high-order neighbor sequences. At the global level, a global representation is generated based on all nodes to adjust the structural intensity according to the active statuses on different nodes. Extensive experiments demonstrate that the proposed model S2T achieves at most 10.13% performance improvement compared with the state-of-the-art competitors on several datasets.

연구 동기 및 목표

• 기존 시간 그래프 방법이 일阶 시간 정보에만 초점을 맞추고 고계 구조 패턴을 忽시하는 한계를 해결하기 위해.
• 자기지도 프레임워크 내에서 시간 동역학과 구조적 토폴로지를 공동으로 모델링하여 노드 표현 품질을 향상시키기 위해.
• 노드 활동 수준에 따라 강도를 조정하는 전역 구조 모듈을 통해 장꼬리 노드 표현을 향상시키기 위해.
• 더 나은 최적화를 위해 작업 손실과 강도 정렬 손실을 통합한 통합 손실 함수를 개발하기 위해.
• 최신 기법 대비 실세계 시간 그래프 벤치마크에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 방법은 역사적 이웃 상호작용이 향후 노드 상호작용에 미치는 영향을 포괄하는 허크스 과정을 사용하여 시간 강도를 모델링한다.
• 국소 구조 강도는 GNN 기반 모듈을 통해 고계 근접 특징을 집계하여 국소 토폴로지를 캡처한다.
• 모든 노드로부터 학습된 전역 표현은 노드 활동 수준에 따라 구조 강도를 재가중하는 데 사용된다.
• 구조 강도 벡터의 다양한 차원에 대해 중요도를 할당하기 위해 전역 파라미터를 도입하여 강건성을 향상시킨다.
• 정렬 손실은 시간 강도 및 구조 강도 벡터 간 격차를 최소화하여 모델이 일관되고 정보적인 표현을 학습하도록 유도한다.
• 총 손실은 정렬 손실과 최종 작업 손실(예: 링크 예측)을 결합하여 자기지도 사전 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간적 및 구조적 정보의 공동 모델링이 시간 그래프 내 노드 표현 품질을 향상시킬 수 있는가?
• RQ2 시간 강도 및 구조 강도 표현을 정렬하면 모델 성능이 어떻게 향상되는가?
• RQ3 전역 구조 인식을 통합할 경우 장꼬리 노드 표현 향상에 어느 정도 기여하는가?
• RQ4 최적이고 안정적인 성능을 얻기 위해 어떤 초모수 설정(예: 시퀀스 길이, 음성 샘플 수)이 필요한가?
• RQ5 제안된 방법은 얼마나 빨리 수렴하며, 대규모 그래프에서의 확장성은 어떠한가?

주요 결과

• S2T는 위키백과, 콜리지메시지, cit-HepTh를 포함한 여러 벤치마크 데이터셋에서 최신 기법 대비 최대 10.13% 향상된 성능을 달성한다.
• 최적의 역사적 이웃 시퀀스 길이 $S$ 는 위키백과에서는 15, cit-HepTh에서는 20이지만, 계산 효율성을 위해 기본적으로 $S=10$ 이 사용된다.
• 양성 샘플 쌍당 하나의 음성 샘플을 사용할 경우 정확도 및 F1 스코어 측면에서 가장 균형 잡힌 성능을 기록하며, 클래스 불균형을 방지한다.
• 모델는 빠르게 수렴하여 손실 값이 몇 에포크 내에 안정화되며, 빠르고 안정적인 최적화를 보여준다.
• 아블레이션 연구를 통해 전역 구조 모듈이 장꼬리 노드를 크게 향상시키며, 활동성이 낮은 노드의 표현 품질 향상에 효과적임을 입증한다.
• 시간 복잡도 $O(t|E|d^3)$ 를 가지며, 수렴 속도가 빠르고 대규모 시간 그래프에 대해 확장 가능하다.