[논문 리뷰] Forecaster: A Graph Transformer for Forecasting Spatial and Time-Dependent Data

Yang Li, José M. F. Moura|arXiv (Cornell University)|2019. 09. 09.

Traffic Prediction and Management Techniques참고 문헌 26인용 수 24

한 줄 요약

Forecaster는 데이터로부터 공간적 종속성을 학습하기 위해 가우시안 마르코프 무작위 필드를 사용하고, 유추된 관계 기반으로 주의 메커니즘을 희소화하는 그래프 구조의 트랜스포머 모델을 제안한다. 실제 뉴욕 도시 데이터에서 DCRNN과 같은 최신 기술 모델보다 낮은 RMSE와 MAPE로 택시 호출 수요 예측 성능을 뛰어나게 개선한다.

ABSTRACT

Spatial and time-dependent data is of interest in many applications. This task is difficult due to its complex spatial dependency, long-range temporal dependency, data non-stationarity, and data heterogeneity. To address these challenges, we propose Forecaster, a graph Transformer architecture. Specifically, we start by learning the structure of the graph that parsimoniously represents the spatial dependency between the data at different locations. Based on the topology of the graph, we sparsify the Transformer to account for the strength of spatial dependency, long-range temporal dependency, data non-stationarity, and data heterogeneity. We evaluate Forecaster in the problem of forecasting taxi ride-hailing demand and show that our proposed architecture significantly outperforms the state-of-the-art baselines.

연구 동기 및 목표

• 복잡한 공간적 종속성, 장거리 시간적 종속성, 데이터 비정상성, 이질성 등의 과제를 해결하기 위해.
• 물리적 거리와 같은 사전 정의된 지표나 사전 지식에 의존하지 않고, 데이터로부터 진정한 공간적 종속성 구조를 학습하기 위해.
• 이 데이터 기반 종속성 그래프를 트랜스포머 아키텍처에 통합하여 시공간 동역학 모델링을 향상시키기 위해.
• 도시 이동 데이터와 같은 비균일한 공간 격자에서의 정밀한 다단계 예측을 가능하게 하기 위해.
• 실제 예측 벤치마크에서 DCRNN 및 표준 트랜스포머와 같은 기존 모델을 능가하기 위해.

제안 방법

• 다변량 정규분포로 시공간 데이터를 모델링하고 정밀도 행렬을 추정하여 종속성 그래프를 유추하기 위해 가우시안 마르코프 무작위 필드를 사용한다.
• 조건부 독립성을 표현하는 인버스 공분산 행렬(그래픽스 라소를 통해 추정)을 통해 종속성 그래프를 학습한다.
• 유추된 종속성 그래프에 연결되지 않은 위치 간 주의 연결을 제거하여 트랜스포머의 자기주의 메커니즘을 희소화한다.
• 각 트랜스포머 뉴런을 공간 위치에 연결하고, 메시지 전파를 오직 종속된 이웃들로 제한하여 공간적 구조를 유지한다.
• 예측 정확도 향상을 위해 기상, 시간대, 공휴일 등의 이질적 보조 특징을 입력 표현에 통합한다.
• 다양한 위치에서의 향후 수요를 예측하기 위해 표준 회귀 손실을 사용하여 엔드 투 엔드 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 히우리스틱 또는 사전 정의된 인접 행렬 대비 데이터 기반 종속성 구조 학습 방식이 예측 성능 향상에 기여하는가?
• RQ2 희소화된 트랜스포머 아키텍처가 비정상적이고 이질적인 시공간 데이터에서 장거리 시간적 종속성을 얼마나 효과적으로 포착하는가?
• RQ3 기상, 시간 특징 등 보조 정보를 통합할 경우 실생활 이동 데이터 예측 정확도가 얼마나 향상되는가?
• RQ4 그래프 구조 트랜스포머가 표준 트랜스포머 및 DCRNN과 같은 RNN 기반 모델보다 다단계 시공간 예측에서 뛰어난 성능을 내는가?
• RQ5 종속성 그래프 학습에 가우시안 마르코프 무작위 필드를 사용할 경우, 다양한 도시 환경에서 더 강건하고 일반화 능력이 뛰어난 모델이 도출되는가?

주요 결과

• Forecaster는 뉴욕 택시 호출 수요 예측에서 DCRNN 및 표준 트랜스포머와 같은 최신 기술 기준 모델보다 RMSE와 MAPE를 크게 감소시킨다.
• 모델은 다양한 공간적 위치와 시간 범위에서 강력한 일반화 능력을 보이며, 다단계 예측에서 뛰어난 성능을 달성한다.
• 데이터 기반 종속성 그래프 사용은 사전 정의된 거리 기반 또는 인접 기반 방법보다 더 정확한 공간 표현을 가능하게 한다.
• 유추된 그래프 기반으로 트랜스포머를 희소화함으로써 불필요한 주의 경로를 제거하여 훈련 안정성 향상과 과적합 방지를 달성한다.
• 기상, 요일, 공휴일 등의 이질적 보조 특징 통합은 예측 정확도를 추가로 향상시킨다.
• 자기주의 메커니즘 덕분에 장거리 시간적 종속성을 효과적으로 포착할 수 있고, 공간적 희소성으로 인해 계산 효율성과 해석 가능성도 확보된다.