[논문 리뷰] Spatial-Temporal Graph Learning with Adversarial Contrastive Adaptation

Qianru Zhang, Chao Huang외 4명|arXiv (Cornell University)|2023. 06. 19.

Data-Driven Disease Surveillance인용 수 5

한 줄 요약

이 논문은 노이즈가 많고 완전하지 않은 도시 데이터에서 강건성과 표현 품질을 향상시키기 위해 적대적 대비 학습과 크로스뷰 대비 학습을 활용하는 공간-시간 그래프 학습 모델인 GraphST을 제안한다. 경량화된 하드 샘플 식별과 다중 뷰 자기지도 신호의 증류를 통해 GraphST은 실제 데이터셋에서 범죄 예측 및 교통 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Spatial-temporal graph learning has emerged as a promising solution for modeling structured spatial-temporal data and learning region representations for various urban sensing tasks such as crime forecasting and traffic flow prediction. However, most existing models are vulnerable to the quality of the generated region graph due to the inaccurate graph-structured information aggregation schema. The ubiquitous spatial-temporal data noise and incompleteness in real-life scenarios pose challenges in generating high-quality region representations. To address this challenge, we propose a new spatial-temporal graph learning model (GraphST) for enabling effective self-supervised learning. Our proposed model is an adversarial contrastive learning paradigm that automates the distillation of crucial multi-view self-supervised information for robust spatial-temporal graph augmentation. We empower GraphST to adaptively identify hard samples for better self-supervision, enhancing the representation discrimination ability and robustness. In addition, we introduce a cross-view contrastive learning paradigm to model the inter-dependencies across view-specific region representations and preserve underlying relation heterogeneity. We demonstrate the superiority of our proposed GraphST method in various spatial-temporal prediction tasks on real-life datasets. We release our model implementation via the link: \url{https://github.com/HKUDS/GraphST}.

연구 동기 및 목표

• 기존 공간-시간 그래프 모델이 노이즈가 많고 완전하지 않은 도시 데이터에 취약한 점을 해결하기 위해.
• 완벽한 그래프 구조에 의존하지 않고도 강건하고 고품질의 지역 표현을 생성하는 자기지도 사전 학습 프레임워크를 개발하기 위해.
• 대비 학습 중에 하드 양성 및 음성 샘플을 자동으로 식별하여 모델의 강건성과 표현 분류 능력을 향상시키기 위해.
• 다양한 뷰 간의 지역 관계 상호의존성을 모델링하여 기저의 이질성 관계를 유지하기 위해.
• 효과적인 자기지도 신호 증류를 통해 수동적 특징 공학에 의존도를 줄이기 위해.

제안 방법

• GraphST는 지역 간 전역 도시 맥락을 반영하는 학습 가능한 함수를 사용하여 맥락 인식 그래프 표현 학습을 가능하게 한다.
• 최소-최대 최적화 프레임워크를 사용해 하드 양성 및 음성 샘플을 자동으로 식별하는 적대적 대비 학습 파라다임을 도입한다.
• 생성형 오토인코더를 사용해 그래프 구조에 적응하는 자기지도 신호를 생성하여 데이터 증강에 활용한다.
• 다양한 뷰 간의 지역 표현 간의 의존성을 모델링하기 위해 크로스뷰 대비 학습을 적용하여 표현의 균일성과 분류 능력을 향상시킨다.
• 지역 임베딩을 풍부하게 하기 위해 POI 행렬, 인간 이동 경로, 공간 거리 행렬 등의 다중 뷰 입력을 통합한다.
• 대비 및 재구성 목표의 공동 최적화를 통해 종합적인 표현 학습을 위한 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 완전하지 않은 데이터 상황에서 공간-시간 그래프 사전 학습을 위한 효과적인 자기지도 신호를 어떻게 생성할 수 있는가?
• RQ2 대비 학습 중에 하드 샘플을 자동으로 식별하여 모델의 강건성과 표현 분류 능력을 향상시키는 방법은 무엇인가?
• RQ3 다양한 뷰 간의 지역 관계 상호의존성을 어떻게 모델링하여 기저의 이질성 관계를 유지할 수 있는가?
• RQ4 적대적 대비 학습은 데이터 훼손 상황에서 그래프 구조 표현의 품질을 어떻게 향상시킬 수 있는가?
• RQ5 크로스뷰 대비 학습은 학습된 지역 임베딩의 균일성과 강건성을 어떻게 향상시킬 수 있는가?

주요 결과

• GraphST는 뉴욕시의 범죄 예측에서 평균 절대 오차(MAE) 2.1060을 기록하여 다음으로 우수한 베이스라인(3.5971)보다 40% 이상 뛰어나다.
• 동일한 작업에서 평균 절대 백분율 오차(MAPE)를 0.5203으로 낮춰 최신 기술 수준의 방법들보다 뛰어난 예측 정확도를 입증한다.
• GraphST는 훈련 시간이 275.1초로, CGAL(4144.8초)과 MGFN(852.3초)을 포함한 여러 최신 기술 수준 모델보다 더 효율적이다.
• 절단 실험 결과, 적대적 대비 학습과 크로스뷰 대비 학습이 성능 향상에 기여한다는 것이 확인되었다.
• 교통 흐름 예측 및 범죄 예측과 같은 다양한 공간-시간 예측 작업에서 뛰어난 일반화 능력을 보였다.
• 자기지도 신호 증류 메커니즘이 수동적 특징 공학에 대한 의존도를 줄였지만 높은 표현 품질을 유지했다.