[논문 리뷰] Temporal Graph Benchmark for Machine Learning on Temporal Graphs

Shenyang Huang, Farimah Poursafaei외 8명|arXiv (Cornell University)|2023. 07. 03.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

본 논문은 Temporal Graph Benchmark (TGB)를 소개합니다. 대규모의 다양성 있는 시간 그래프 데이터 세트 모음으로 표준화된 평가와 공개 리더보드를 제공하여 현실적인 설정에서 동적 링크 및 노드 속성 예측 방법을 평가합니다.

ABSTRACT

We present the Temporal Graph Benchmark (TGB), a collection of challenging and diverse benchmark datasets for realistic, reproducible, and robust evaluation of machine learning models on temporal graphs. TGB datasets are of large scale, spanning years in duration, incorporate both node and edge-level prediction tasks and cover a diverse set of domains including social, trade, transaction, and transportation networks. For both tasks, we design evaluation protocols based on realistic use-cases. We extensively benchmark each dataset and find that the performance of common models can vary drastically across datasets. In addition, on dynamic node property prediction tasks, we show that simple methods often achieve superior performance compared to existing temporal graph models. We believe that these findings open up opportunities for future research on temporal graphs. Finally, TGB provides an automated machine learning pipeline for reproducible and accessible temporal graph research, including data loading, experiment setup and performance evaluation. TGB will be maintained and updated on a regular basis and welcomes community feedback. TGB datasets, data loaders, example codes, evaluation setup, and leaderboards are publicly available at https://tgb.complexdatalab.com/.

연구 동기 및 목표

• 다양한 도메인과 작업에 걸친 시계열 그래프 학습을 위한 크고 다양하며 현실적인 벤치마크를 생성한다.
• 현실 세계의 사용 사례를 반영하고 과도하게 낙관적인 성능 보고를 완화하기 위해 평가 프로토콜을 표준화한다.
• 데이터 로딩, 실험 설정, 재현 가능한 성능 벤치마킹을 위한 자동화 파이프라인을 제공하고 공개 리더보드에서 수행한다.
• 모델 성능이 데이터셋과 작업에 따라 크게 달라짐을 입증하여 더 폭넓은 평가와 방법 개발을 촉진한다.
• 노드-레벨 시계열 그래프 학습의 범위를 확장하기 위해 새로운 노드 친화도 예측 태스크를 도입한다.

제안 방법

• 사회, 상호작용, 평가, 교통, 무역 도메인을 포괄하는 7개의 새로운 시계열 그래프 데이터 세트를 모으고, 노드 수, 간선 수, 타임스탬프가 큰 규모이며 다양한 특성을 가진다.
• 동적 링크 속성 예측을 위해 역사적 음수와 무작위 음수를 혼합한 평가 프로토콜을 설계하고 주 지표로 Mean Reciprocal Rank (MRR)를 사용한다.
• 동적 노드 속성에 대한 노드 친화도 예측을 도입하고 제안된 친화도의 순위 품질을 평가하기 위해 NDCG@10으로 평가한다.
• 공개 리더보드와 함께 자동화된 ML 파이프라인을 제공하여 데이터를 다운로드하고 TemporalData 형식으로 처리하며 재현 가능한 실험을 수행한다.
• 기존 TG 모델들(DyRep, TGN, CAWN, TCL, GraphMixer, NAT, TGAT)을 포함하고, 휴리스틱(EdgeBank 변형)도 모든 데이터세트에 대해 벤치마크한다.
• 작은 규모, 중간 규모, 큰 규모의 데이터셋에서의 성능을 비교하여 데이터셋 의존적 모델 강점과 약점을 부각한다.

실험 결과

연구 질문

• RQ1 최신 시계열 그래프 모델이 현실 세계와 유사한 대규모의 다양성 있는 데이터셋에서 동적 링크 속성 예측 성능을 어떻게 발휘하는가?
• RQ2 모델 성능이 데이터셋에 따라 크게 달라지는가, 시계열 그래프의 단일 데이터셋 벤치마크의 한계를 시사하는가?
• RQ3 단순 휴리스틱이 동적 노드 속성 예측에서 학습된 시계열 그래프 모델과 경쟁할 수 있는가, 어떤 조건에서인가?
• RQ4 음수 샘플링 및 순위 지표와 관련하여 어떤 평가 프로토콜이 실제 시계열 그래프 사용 사례를 가장 잘 반영하는가?
• RQ5 노드 수준 태스크로 노드 친화도 예측을 도입하는 가치와 측정 방법은 무엇인가?

주요 결과

• 시계열 그래프 벤치마크는 동적 링크 예측에서 데이터셋 간에 큰 성능 차이를 보이며 다양한 평가의 필요성을 강조한다.
• 작은 데이터셋에서 특정 신경 TG 모델(NAT, CAWN 등)이 다른 모델보다 우수하지만 데이터셋 간 순위는 크게 달라진다; tgbl-wiki에서는 NAT가 최고를, tgbl-review에서는 GraphMixer와 TGAT가 상위로 오른다.
• 중대형 데이터셋에서 일반적으로 TGN이 강력한 성능을 보이나 일부 태스크에서 EdgeBank 휴리스틱이 여전히 경쟁력을 유지한다(예: tgbl-coin).
• 노드 친화도 예측 결과는 단순 휴리스틱(지속 예측, 이동 평균)이 여러 데이터셋에서 SOTA TG 방법보다 먼저 우수한 경우가 많아 노드 수준 방법 개발의 여지가 있음을 시사한다.
• 통합된 TGB 파이프라인은 재현 가능한 실험과 공개 리더보드를 가능하게 하여 공정한 비교와 시계열 그래프 학습의 빠른 진보를 촉진한다.