[논문 리뷰] Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding

Doyup Lee, Suehun Jung외 3명|arXiv (Cornell University)|2019. 05. 26.

Traffic Prediction and Management Techniques참고 문헌 49인용 수 5

한 줄 요약

이 논문은 그래프 신경망과 시간적 지도 임베딩을 사용하여 단기 수요 예측을 위한 경량이고 효율적인 베이스라인인 시간적 지도 네트워크(TGNet)를 제안한다. TGNet은 순열 불변성 있는 공간 특징 추출과 명시적인 시간적 맥락 인코딩을 활용하여 최신 기술보다 20배 적은 파라미터로 경쟁적인 성능을 달성하면서도 희귀하고 영향력 있는 이질적 수요 사건에서 뛰어난 일반화 성능을 보여준다.

ABSTRACT

Short-term demand forecasting models commonly combine convolutional and recurrent layers to extract complex spatiotemporal patterns in data. Long-term histories are also used to consider periodicity and seasonality patterns as time series data. In this study, we propose an efficient architecture, Temporal-Guided Network (TGNet), which utilizes graph networks and temporal-guided embedding. Graph networks extract invariant features to permutations of adjacent regions instead of convolutional layers. Temporal-guided embedding explicitly learns temporal contexts from training data and is substituted for the input of long-term histories from days/weeks ago. TGNet learns an autoregressive model, conditioned on temporal contexts of forecasting targets from temporal-guided embedding. Finally, our model achieves competitive performances with other baselines on three spatiotemporal demand dataset from real-world, but the number of trainable parameters is about 20 times smaller than a state-of-the-art baseline. We also show that temporal-guided embedding learns temporal contexts as intended and TGNet has robust forecasting performances even to atypical event situations.

연구 동기 및 목표

• 장기적인 역사적 입력 자료를 사용하지 않고도 복잡한 아키텍처를 피하는 단순하면서도 강력한 베이스라인 모델을 개발하는 것.
• 학습 가능한 임베딩을 통해 주기성과 계절성과 같은 명시적인 시간적 맥락을 모델링하여 예측 성능을 향상시키는 것.
• 학습 데이터에서 희귀한 희귀 이벤트(예: 콘cert, 휴일)에 대해 모델의 일반화 성능을 향상시키는 것.
• 기존 최신 기술 모델들과 비교해 성능을 유지하거나 향상시키면서도 모델 복잡성과 파라미터 수를 줄이는 것.
• 실제 시계열 데이터에서 학습된 시간 패턴을 해석 가능한 시각화로 제공하는 것.

제안 방법

• 이웃 지역의 순서에 관계없이 불변인 공간 특징 추출을 위한 순열 불변성 있는 연산을 사용한 그래프 신경망을 적용하여 공간적 특징을 추출한다.
• 시간대, 요일, 휴일 여부를 학습 가능한 임베딩으로 인코딩하여 명시적인 시간적 맥락을 표현하는 시간적 지도 임베딩을 사용한다.
• 시간적 지도 임베딩을 입력 수요 패턴과 결합하여 장기적인 역사적 시퀀스에 의존하지 않고도 반복적인 시간 패턴을 인식할 수 있도록 모델을 지도한다.
• 다중 그래프 네트워크 레이어를 스택하여 통합적인 엔드 투 엔드 프레임워크에서 복잡한 시공간 상관관계를 공동으로 학습한다.
• 실제 라이드헤일링 수요 데이터셋을 사용하여 평균 제곱오차(MSE) 손실을 기반으로 모델을 엔드 투 엔드로 훈련한다.
• 일반 수요와 극단적인 이질적 이벤트 샘플 모두에서 성능을 평가하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 장기적인 역사적 수요 데이터를 사용하지 않더라도 단순하고 경량인 모델이 경쟁적인 예측 성능을 달성할 수 있는가?
• RQ2 시간적 지도 임베딩을 통한 명시적 시간 맥락 인코딩이 예측 정확도와 가시성에 어떤 영향을 미치는가?
• RQ3 학습 데이터에서 희귀한 고영향력 수요 이벤트에 대해 파라미터 수가 크게 줄어든 모델이 더 나은 일반화 성능을 보일 수 있는가?
• RQ4 순열 불변성 공간 특징 학습이 수요 예측에서 기존의 컨볼루션 연산보다 우수한 성능을 내는가?
• RQ5 시간적 지도 임베딩이 실제 수요 데이터의 시간 패턴을 얼마나 잘 가시화할 수 있는가?

주요 결과

• TGNet은 뉴욕 택시(NYC-taxi)에서 19.64 RMSE, 서울 택시(SEO-taxi)에서 상위 1% 수요 이벤트에 대해 27.43 RMSE로 최신 기술 모델인 STResNet 및 STDN을 능가하는 최고 수준의 성능을 달성한다.
• 최근 최신 기술 모델인 STDN(약 950만 파라미터)에 비해 약 20배 적은 학습 가능한 파라미터(약 50만)를 사용하면서도 경쟁적인 정확도를 유지한다.
• 시간적 지도 임베딩은 명확하게 시간 클러스터(예: 출퇴근, 야간, 주말)를 분리하고 휴일 패턴이 주말과 인접해 있음을 보여주는 가시화 가능한 t-SNE 시각화를 가능하게 한다.
• TGNet은 이질적 이벤트 샘플에서 기존 베이스라인 모델들보다 뚜렷한 일반화 성능을 보이며, SEO-taxi의 상위 1% 이벤트에서 RMSE 36.37을 기록했고, GN은 39.91, GN+TGE는 47.32를 기록했다.
• 다른 모델들이 대규모 데이터셋에서 학습에 실패할 때조차도 TGNet은 강력한 성능을 유지하여 내재된 강건성과 확장성의 잠재력을 보여준다.
• 하차량량 특징을 통합하면 이질적 이벤트 예측 성능이 향상되며, 이는 향후 수요 급증의 지표로 유용한 특징일 수 있음을 시사한다.