[논문 리뷰] Spatial-Temporal Self-Attention Network for Flow Prediction

Haoxing Lin, Weijia Jia외 2명|arXiv (Cornell University)|2019. 12. 13.

Traffic Prediction and Management Techniques참고 문헌 19인용 수 11

한 줄 요약

이 논문은 공간적 및 시간적 의존성을 자기주의 주의 메커니즘을 통해 공동으로 모델링하는 공간-시간 자기주의 주의 네트워크(ST-SAN)를 제안한다. 이는 장기 의존성 모델링의 한계와 공간적·시간적 요소의 독립적 처리 문제를 해결한다. ST-SAN은 기존 최고 수준의 방법에 비해 Taxi-NYC 데이터에서 유입 예측에서 RMSE를 9% 감소시키고 유출 예측에서 4% 감소시킨다.

ABSTRACT

Flow prediction (e.g., crowd flow, traffic flow) with features of spatial-temporal is increasingly investigated in AI research field. It is very challenging due to the complicated spatial dependencies between different locations and dynamic temporal dependencies among different time intervals. Although measurements of both dependencies are employed, existing methods suffer from the following two problems. First, the temporal dependencies are measured either uniformly or bias against long-term dependencies, which overlooks the distinctive impacts of short-term and long-term temporal dependencies. Second, the existing methods capture spatial and temporal dependencies independently, which wrongly assumes that the correlations between these dependencies are weak and ignores the complicated mutual influences between them. To address these issues, we propose a Spatial-Temporal Self-Attention Network (ST-SAN). As the path-length of attending long-term dependency is shorter in the self-attention mechanism, the vanishing of long-term temporal dependencies is prevented. In addition, since our model relies solely on attention mechanisms, the spatial and temporal dependencies can be simultaneously measured. Experimental results on real-world data demonstrate that, in comparison with state-of-the-art methods, our model reduces the root mean square errors by 9% in inflow prediction and 4% in outflow prediction on Taxi-NYC data, which is very significant compared to the previous improvement.

연구 동기 및 목표

• 기존의 흐름 예측 모델이 공간적·시간적 의존성을 독립적으로 다루고 장기 시간 의존성을 잘 모델링하지 못하는 문제를 해결하기 위해.
• 반복 신경망에서 발생하는 기울기 소실 문제로 인해 효과적인 장기 시간 의존성 학습이 어려운 문제를 해결하기 위해.
• 반복 구조나 깊은 잔여 컨볼루션 구조에 의존하지 않고도 계산 효율성이 높은 딥 러닝 모델을 개발하기 위해.
• 통합된 주의 메커니즘을 통해 복잡한 공간적·시간적 상관관계를 동시에 포착하여 동적이고 맥락 인식형 상호작용을 가능하게 하기 위해.
• 실제 대규모 흐름 예측 데이터셋에서 제안된 ST-SAN 모델의 효과성을 경험적으로 검증하기 위해.

제안 방법

• ST-SAN 모델은 공간-시간 자기주의 주의 메커니즘을 활용하여 쿼리가 동시에 공간적 위치와 시간 단계에 주의를 기울일 수 있도록 공유 주의 공간을 통해 설계된다.
• 자기주의 주의 메커니즘은 장기 의존성에 이르는 경로의 길이를 동일하게 유지함으로써 반복 신경망에서 흔히 발생하는 장기 시간 신호의 기울기 소실을 방지한다.
• 모델은 시간 스트림(스트림-T)에서 독립적으로 훈련하는 이중 스트림 아키텍처(ST-SAN-D)를 사용하여 모호성을 줄이고 노드 간 연결성 모델링을 향상시킨다.
• 공간-시간 자기주의 주의 메커니즘은 임bed된 공간적 및 시간적 특징에서 유도된 쿼리, 키, 밸류를 사용하여 주의 점수를 계산하며, 스케일드 도트-프로덕트 주의를 사용한다: $\text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d}})V$.
• 모델은 반복 구조나 깊은 잔여 구조를 회피하고 오직 주의 메커니즘에 의존함으로써 효율성과 공간적·시간적 동역학의 더 나은 통합을 달성한다.
• 시간 스트림에서 독립적으로 훈련하는 변종(ST-SAN-D IT)은 시간 연결성 학습의 목표를 명확히 하여 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 자기주의 주의 메커니즘이 기울기 소실 문제 없이 장기 및 단기 시간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 통합된 주의 메커니즘을 통해 공간적·시간적 의존성을 동시에 모델링할 경우, 독립적으로 모델링하는 것보다 흐름 예측 정확도가 향상되는가?
• RQ3 반복 구조나 깊은 잔여 컨볼루션 네트워크를 사용하지 않는 딥 러닝 모델이 흐름 예측에서 높은 성능을 달성할 수 있는가?
• RQ4 시간 스트림에서 독립적으로 사전 훈련하는 것이 모델의 노드 연결성 학습 능력과 최종 예측 성능 향상에 어떤 영향을 미치는가?
• RQ5 제안된 ST-SAN 모델이 최고 수준의 방법에 비해 실제 흐름 예측 벤치마크에 어떤 정량적 영향을 미치는가?

주요 결과

• ST-SAN은 최고 수준의 방법에 비해 Taxi-NYC 데이터셋에서 유입 예측에서 RMSE를 9% 감소시키고 유출 예측에서 4% 감소시킨다.
• 이중 스트림 훈련과 독립적인 시간 스트림 사전 훈련을 사용하는 ST-SAN-D 변종이 모든 다른 변종보다 RMSE 및 MAE 지표에서 가장 뛰어난 성능을 기록한다.
• SAN 기준선은 공간-시간 주의를 사용하지 않고 오직 트랜스포머 구조만을 사용하기 때문에 공간 의존성을 효과적으로 모델링하지 못해 성능이 열악하다.
• ST-SAN-S 변종는 공간-시간 주의를 적용하지만 노드 간 전이 정보가 없기 때문에 균일한 영향 측정과 동적 의존성 누락으로 인해 성능이 열등하다.
• 모델의 성능 향상은 특히 유입 예측에서 가장 두드러지며, 이는 유출 예측이 여전히 더 도전적인 과제이며 향후 추가 연구가 필요함을 시사한다.
• 제거 분석 결과, 시간 스트림에서의 독립적 훈련(ST-SAN-D IT)이 목적 함수의 모호성을 줄여 연결성 모델링을 향상시켜 성능 향상에 기여한다는 것이 확인되었다.