[논문 리뷰] Towards Better Evaluation for Dynamic Link Prediction

Farimah Poursafaei, Shenyang Huang외 2명|arXiv (Cornell University)|2022. 07. 20.

Advanced Graph Neural Networks인용 수 31

한 줄 요약

이 논문은 현재의 동적 링크 예측 평가를 비판하고, 두 가지 더 까다로운 음수 샘플링 전략, 암기 기반 벤치마크 EdgeBank, 새로운 동적 그래프 데이터세트, 그리고 방법들을 더 잘 구분하기 위한 시각화 도구 TEA 및 TET를 제시한다.

ABSTRACT

Despite the prevalence of recent success in learning from static graphs, learning from time-evolving graphs remains an open challenge. In this work, we design new, more stringent evaluation procedures for link prediction specific to dynamic graphs, which reflect real-world considerations, to better compare the strengths and weaknesses of methods. First, we create two visualization techniques to understand the reoccurring patterns of edges over time and show that many edges reoccur at later time steps. Based on this observation, we propose a pure memorization baseline called EdgeBank. EdgeBank achieves surprisingly strong performance across multiple settings because easy negative edges are often used in the current evaluation setting. To evaluate against more difficult negative edges, we introduce two more challenging negative sampling strategies that improve robustness and better match real-world applications. Lastly, we introduce six new dynamic graph datasets from a diverse set of domains missing from current benchmarks, providing new challenges and opportunities for future research. Our code repository is accessible at https://github.com/fpour/DGB.git.

연구 동기 및 목표

• 동적 링크 예측에 대한 기존 평가 절차의 한계를 식별한다.
• 실세계의 엣지 재발을 반영하는 보다 강건한 음수 샘플링 전략을 제안한다.
• 메모리화 효과를 벤치마킹하기 위한 간단한 암기 기반 벤치마크 EdgeBank를 도입한다.
• 평가 범위를 넓히기 위해 다양한 도메인에서 여섯 개의 새로운 동적 그래프 데이터세트를 제공한다.
• 시간에 걸친 엣지 재발과 트래픽 패턴을 특징짓기 위한 시각화 도구(TEA 및 TET)를 개발한다.

제안 방법

• TEA 플롯을 개발하여 시간에 따른 반복 엣지와 신규 엣지의 혼합을 시각화한다.
• TET 플롯을 개발하여 엣지 재발 패턴을 보여주고 학습/테스트 엣지를 분류한다.
• 관측된 엣지를 저장하고 기억된 엣지를 양성으로 예측하는 비매개변수화 암기 기반 벤치마크 EdgeBank를 제안한다.
• 더 어렵고 더 현실적인 평가 시나리오를 만들기 위해 두 가지 새로운 음수 샘플링 전략—historical NS 및 inductive NS—를 도입한다.
• 다양한 데이터세트에서 표준 무작위 NS와 새로운 NS 전략 하에서 SOTA 동적 그래프 신경망을 평가한다.

실험 결과

연구 질문

• RQ1 더 어려운 음수 샘플로 평가될 때 기존의 동적 링크 예측 방법은 얼마나 잘 구분하는가?
• RQ2 데이터세트 전체에서 암기가 동적 링크 예측의 성능에 얼마나 기여하는가?
• RQ3 현재 벤치마크가 도메인 다양성을 커버하는가, 아니면 특정 동적 패턴을 선호하는가?
• RQ4 시각화 도구(TEA/TET)가 모델 평가에 영향을 주는 엣지 재발 패턴을 드러낼 수 있는가?

주요 결과

• 간단한 암기 기반 벤치마크 EdgeBank가 여러 데이터세트에서 SOTA 방법과 경쟁력 있게 작동하며, 특정 평가에서 암기가 강력한 요인임을 부각시킨다.
• 두 가지 새로운 음수 샘플링 전략(historical NS 및 inductive NS)이 방법 순위를 크게 바꾸고 무작위 NS에서 보이지 않던 취약점을 드러낸다.
• 동적 링크 예측 모델의 성능 순위는 데이터세트와 NS 설정에 따라 크게 달라져 현재 벤치마크가 일반화를 과대평가할 수 있음을 나타낸다.
• 정치, 교통, 경제 분야의 여섯 개의 새로운 동적 그래프 데이터세트가 사회/상호작용 네트워크를 넘어 평가를 확장한다.
• TEA 및 TET 플롯은 엣지 재발 및 트래픽 패턴의 도메인 간 큰 변동성을 드러내며 더 강건한 평가 설계를 안내한다.
• EdgeBank는 historical NS 설정에서 성능이 우수하고 때로는 복잡한 모델을 능가하여 더 강력한 벤치마크의 필요성을 강조한다.