[논문 리뷰] When Do Contrastive Learning Signals Help Spatio-Temporal Graph Forecasting?

Xu Liu, Yuxuan Liang외 4명|arXiv (Cornell University)|2021. 08. 26.

Human Mobility and Location-Based Analysis인용 수 8

한 줄 요약

이 논문은 공동 학습을 통해 그래프 수준의 대비 학습을 시간-공간 그래프 예측에 통합하는 새로운 프레임워크 STGCL을 제안한다. 이는 기준 데이터셋에서 예측 정확도를 크게 향상시킨다. 그래프 수준의 대비 학습에 규칙 기반 음성 필터링 전략을 적용할 경우, 특히 데이터가 부족한 조건에서 특징 표현을 향상시켜 추론 오버헤드 없이도 최고의 성능을 달성함을 입증한다.

ABSTRACT

Deep learning models are modern tools for spatio-temporal graph (STG) forecasting. Though successful, we argue that data scarcity is a key factor limiting their recent improvements. Meanwhile, contrastive learning has been an effective method for providing self-supervision signals and addressing data scarcity in various domains. In view of this, one may ask: can we leverage the additional signals from contrastive learning to alleviate data scarcity, so as to benefit STG forecasting? To answer this question, we present the first systematic exploration on incorporating contrastive learning into STG forecasting. Specifically, we first elaborate two potential schemes for integrating contrastive learning. We then propose two feasible and efficient designs of contrastive tasks that are performed on the node or graph level. The empirical study on STG benchmarks demonstrates that integrating graph-level contrast with the joint learning scheme achieves the best performance. In addition, we introduce four augmentations for STG data, which perturb the data in terms of graph structure, time domain, and frequency domain. Experimental results reveal that the model is not sensitive to the proposed augmentations' semantics. Lastly, we extend the classic contrastive loss via a rule-based strategy that filters out the most semantically similar negatives, yielding performance gains. We also provide explanations and insights based on the above experimental findings. Code is available at https://github.com/liuxu77/STGCL.

연구 동기 및 목표

• 시간-공간 그래프(STG) 예측에서 데이터 부족 문제를 해결함으로써 모델의 일반화 능력을 제한하고 과적합을 유도하는 문제를 다룬다.
• 대비 학습 신호가 시간-공간 그래프 예측에서 데이터 부족 문제를 어떻게나 줄일 수 있는지 체계적으로 조사한다.
• 시간-공간 그래프에서 최적의 학습 체계, 대비 학습 수준(노드 대비 그래프), 데이터 증강 전략, 음성 샘플링 방법을 규명한다.
• 의미적으로 유사한 음성을 걸러내는 규칙 기반 방법을 개발하여 대비 학습의 효과를 향상시킨다.

제안 방법

• 두 가지 통합 전략을 제안한다: 사전 학습 및 미세조정, 공동 학습이며, 공동 학습이 더 뛰어난 성능을 보였다.
• 노드 수준과 그래프 수준에서 각각 하나의 대비 작업을 설계하였으며, 특징을 대비 공간으로 매핑하기 위해 투영 헤드를 사용하였다.
• 시간-공간 그래프 전용으로 네 가지 데이터 증강 기법을 도입하여 그래프 구조, 시계열, 주파수 도메인을 변형하여 양성 쌍을 생성하였다.
• 너무 유사하거나 다소 다를 만한 음성을 제거하는 규칙 기반 음성 필터링 전략을 구현하여 대비 신호의 품질을 향상시켰다.
• 표준 대비 손실(NT-Xent)을 사용하지만, 의미 인식 기반 필터링을 적용하여 음성 쌍의 노이즈를 줄였다.
• 예측 손실과 대비 손실을 동시에 최적화하는 다중 작업 목표를 사용하여 추론 비용 증가 없이도 자기 지도 학습을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 대비 학습을 시간-공간 그래프 예측에 통합하는 데 있어 가장 효과적인 학습 체계는 사전 학습 및 미세조정인지, 공동 학습인지?
• RQ2 시간-공간 그래프 예측에서 대비 학습을 노드 수준에서 수행할 것인지, 그래프 수준에서 수행할 것인지, 어느 것이 더 높은 성능을 낼 수 있는가?
• RQ3 시간-공간 그래프에 적합한 데이터 증강 전략을 어떻게 설계할 수 있으며, 증강 방법의 선택이 성능에 상당한 영향을 미치는가?
• RQ4 배치 내 다른 모든 샘플을 음성으로 간주해야 하는가, 아니면 의미적으로 비슷하거나 다를 만한 음성을 걸러내면 성능 향상이 가능할 수 있는가?

주요 결과

• 예측과 대비 학습을 공동으로 학습하는 방식이 사전 학습 및 미세조정보다 더 뛰어난 성능을 보이며, 일반화 능력 향상과 성능 향상을 동시에 달성한다.
• 여러 데이터셋과 기본 모델에서 그래프 수준의 대비 학습이 노드 수준의 대비 학습보다 일관되게 뛰어난 결과를 도출한다.
• 데이터 증강 방법의 선택에 대해 매우 강건하여, 증강이 의미적으로 일관되지 않더라도 성능 저하가 거의 발생하지 않는다.
• 가장 의미적으로 유사한 음성을 걸러내는 규칙 기반 필터링 전략을 적용하면 성능 향상이 명확하게 관찰되어 음성 품질의 중요성을 입증한다.
• 제안된 STGCL 프레임워크는 PEMS-04, PEMS-08, ETTh1 기준에서 예측 정확도를 향상시켜 강력한 기존 방법 대비 최대 3.2%의 MAE 향상을 달성한다.
• 추론 비용 증가 없이도 모델의 일반화 능력을 향상시켜 데이터가 부족한 시간-공간 그래프 예측에 실용적이고 효과적인 학습 전략이 된다.