[논문 리뷰] Spatio-Temporal Graph Contrastive Learning

Xu Liu, Yuxuan Liang외 3명|arXiv (Cornell University)|2021. 08. 26.

Human Mobility and Location-Based Analysis참고 문헌 27인용 수 7

한 줄 요약

이 논문은 예측 손실과 보조 대비 손실을 통합함으로써 깊이 학습 모델의 STG 예측 성능을 향상시키는 새로운 스펙트럼-시간 그래프 대비 학습 프레임워크인 STGCL을 제안한다. 도메인 특화의 데이터 증강 기법 4종과 규칙 기반 음성 필터링 전략을 도입하여 사전 훈련 없이도 다양한 데이터셋과 모델에서 일관된 성능 향상을 달성한다.

ABSTRACT

Deep learning models are modern tools for spatio-temporal graph (STG) forecasting. Despite their effectiveness, they require large-scale datasets to achieve better performance and are vulnerable to noise perturbation. To alleviate these limitations, an intuitive idea is to use the popular data augmentation and contrastive learning techniques. However, existing graph contrastive learning methods cannot be directly applied to STG forecasting due to three reasons. First, we empirically discover that the forecasting task is unable to benefit from the pretrained representations derived from contrastive learning. Second, data augmentations that are used for defeating noise are less explored for STG data. Third, the semantic similarity of samples has been overlooked. In this paper, we propose a Spatio-Temporal Graph Contrastive Learning framework (STGCL) to tackle these issues. Specifically, we improve the performance by integrating the forecasting loss with an auxiliary contrastive loss rather than using a pretrained paradigm. We elaborate on four types of data augmentations, which disturb data in terms of graph structure, time domain, and frequency domain. We also extend the classic contrastive loss through a rule-based strategy that filters out the most semantically similar negatives. Our framework is evaluated across three real-world datasets and four state-of-the-art models. The consistent improvements demonstrate that STGCL can be used as an off-the-shelf plug-in for existing deep models.

연구 동기 및 목표

• 사전 훈련된 표현이 최종 작업 성능을 향상시키지 못하는 기존 그래프 대비 학습 방법의 한계를 해결한다.
• 특히 노이즈에 대한 내성과 구조 보존을 고려한 효과적인 STG 데이터에 특화된 데이터 증강 전략의 부족을 보완한다.
• 의미적 유사성을 고려하여 가장 의미적으로 유사한 음성 샘플을 필터링함으로써 대비 학습에 의미적 유사성을 통합하여 표현 품질을 향상시킨다.
• 사전 훈련이나 아키텍처 변경 없이 기존의 깊이 학습 STG 모델을 향상시킬 수 있는 즉시 사용 가능한 프레임워크를 개발한다.

제안 방법

• 사전 훈련 단계 없이도 훈련 과정에서 예측 손실과 보조 대비 손실을 통합한다.
• 그래프 구조 훼손, 시간 이동, 주파수 도메인 마스킹, 특징 노이즈 주입의 4종류의 데이터 증강 기법을 설계한다.
• 의미적으로 가장 유사한 음성 샘플을 제외함으로써 대비 학습 신호의 품질을 향상시키는 규칙 기반 음성 필터링 메커니즘을 제안한다.
• 공간 및 시간 그래프 구조 양쪽에 대비 손실을 적용하여 데이터 내 국소적 및 전반적 의존성을 유지한다.
• 예측 및 대비 목표의 공동 최적화를 통해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• STGCL을 모듈러하고 즉시 사용 가능한 구성 요소로 만들어 기존 STG 모델과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련 파라디그마가 아닌 훈련 과정에 직접 통합된 대비 학습이 STG 예측 성능 향상에 기여할 수 있는가?
• RQ2 특히 그래프 구조, 시간 및 주파수 도메인을 대상으로 하는 다양한 유형의 데이터 증강 기법이 STG 예측에서 표현 학습에 어떤 영향을 미치는가?
• RQ3 의미적으로 가장 유사한 음성 샘플을 제거함으로써 STG 데이터의 대비 표현 품질이 향상되는가?
• RQ4 STGCL은 다양한 데이터셋과 기존의 깊이 학습 모델에 대해 얼마나 일반화 가능한가?

주요 결과

• STGCL은 세 개의 실생활 데이터셋에서 네 개의 최신 STG 예측 모델에 대해 일관되게 성능 향상을 보이며 일반화 능력을 입증한다.
• 대비 학습을 예측 손실과 통합함으로써 사전 훈련 없이도 상당한 성능 향상이 이루어진다.
• 제안된 규칙 기반 음성 필터링 전략은 유사한 샘플이 동일한 임베딩 공간에 압축되는 위험을 줄여 표현 품질을 향상시킨다.
• 그래프, 시간, 주파수 및 특징 노이즈의 4가지 도메인 특화 증강 기법이 노이즈 조건 하에서의 강건성과 일반화 능력을 향상시킨다.
• 다양한 데이터셋에서 일관된 향상이 이루어져, 플러그인 모듈로서의 강력한 이식성과 실용성을 보여준다.
• 실험 결과, 표준 대비 학습을 통해 학습된 표현은 예측 작업에 도움이 되지 않음을 확인하여, STGCL에서 공동 최적화가 필요하다는 점을 정당화한다.