[논문 리뷰] Interpretable Crowd Flow Prediction with Spatial-Temporal Self-Attention

Haoxing Lin, Weijia Jia외 2명|arXiv (Cornell University)|2020. 02. 22.

Traffic Prediction and Management Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 STSAN을 제안하며, ST 인코딩 게이트와 다중 측면 어텐션을 사용하여 인파 유동 예측에서 전체 공간-시간 종속성을 모델링하는 공간-시간 자기어텐션 네트워크이다. Taxi-NYC 데이터셋에서 SOTA 기준 대비 유입 예측 시 RMSE가 16% 감소하고 유출 예측 시 8% 감소하였으며, 명시적인 어텐션 가중치를 통해 모델의 해석 가능성을 확보하였다.

ABSTRACT

Crowd flow prediction has been increasingly investigated in intelligent urban computing field as a fundamental component of urban management system. The most challenging part of predicting crowd flow is to measure the complicated spatial-temporal dependencies. A prevalent solution employed in current methods is to divide and conquer the spatial and temporal information by various architectures (e.g., CNN/GCN, LSTM). However, this strategy has two disadvantages: (1) the sophisticated dependencies are also divided and therefore partially isolated; (2) the spatial-temporal features are transformed into latent representations when passing through different architectures, making it hard to interpret the predicted crowd flow. To address these issues, we propose a Spatial-Temporal Self-Attention Network (STSAN) with an ST encoding gate that calculates the entire spatial-temporal representation with positional and time encodings and therefore avoids dividing the dependencies. Furthermore, we develop a Multi-aspect attention mechanism that applies scaled dot-product attention over spatial-temporal information and measures the attention weights that explicitly indicate the dependencies. Experimental results on traffic and mobile data demonstrate that the proposed method reduces inflow and outflow RMSE by 16% and 8% on the Taxi-NYC dataset compared to the SOTA baselines.

연구 동기 및 목표

• 인파 유동 예측에서 분할-통합 딥러닝 접근법의 한계를 해결하기 위해, 공간-시간 종속성을 분할하고 해석 가능성을 떨어뜨리는 문제를 해결한다.
• 공간적 및 시간적 위치 인코딩을 사용해 전체 입력을 통합된 특징 공간에 표현함으로써 복잡한 공간-시간 종속성을 유지한다.
• 예측에 가장 영향을 주는 이전 공간-시간 위치를 나타내는 어텐션 가중치를 명시적으로 추출함으로써 모델의 해석 가능성을 보장한다.
• 공간-시간 처리를 분할하지 않고 전체 공간-시간 표현에 스케일드 도트곱 어텐션을 적용함으로써 예측 정확도와 효율성을 향상시킨다.

제안 방법

• 공간적 및 시간적 위치 인코딩과 시간 인코딩을 결합하는 ST 인코딩 게이트를 도입하여 전체 공간-시간 입력을 단일 통합 특징 공간에 표현한다.
• 스케일드 도트곱 어텐션을 동시에 공간적 및 시간적 차원에 적용하는 다중 측면 어텐션 메커니즘을 제안하며, 각 공간적 위치에 전용 어텐션 헤드를 할당한다.
• 이중 스트림 아키텍처를 활용한다: Stream-T는 다중 헤드 자기어텐션을 통해 시간 종속성을 처리하고, Stream-F는 전이 행렬을 통해 공간 전이를 학습한다.
• 주기적 이동을 통해 지난 7일 동안 같은 시간대의 이전 관측치를 선택함으로써, 맥락 인식 기반의 입력 선택을 통해 시간 모델링을 향상시킨다.
• 목표 영역 주변의 B×B 블록으로 공간 영역을 제한함으로써 국소 입력 튜닝을 적용하여 노이즈를 감소시키고 효율성을 향상시킨다.
• Adam 옵timizer를 사용하며, 웜업 학습률을 적용하고 드롭아웃(비율 0.1)을 정규화에 사용한다. 8개의 GPU를 사용하여 배치 크기가 1024인 상태에서 훈련한다.

실험 결과

연구 질문

• RQ1 공간적 및 시간적 처리를 분할하지 않고 전체 공간-시간 종속성을 효과적으로 모델링할 수 있는 통합 어텐션 메커니즘은 인파 유동 예측에 유용한가?
• RQ2 통합된 표현에 위치 인코딩과 시간 인코딩을 포함함으로써, 분리된 공간-시간 모델링 대비 예측 정확도가 얼마나 향상되는가?
• RQ3 제안된 메커니즘에서 추출한 어텐션 가중치는 얼마나 해석 가능성을 확보할 수 있으며, 핵심적인 이전 영향 요소를 식별하는 데 유용한가?
• RQ4 실제 인파 유동 데이터셋에서 기존 SOTA 방법에 비해 예측 정확도와 해석 가능성 측면에서 STSAN 모델이 우수한 성능을 보이는가?

주요 결과

• STSAN은 Taxi-NYC 데이터셋에서 SOTA 기준 대비 최고 성능 기반 모델 대비 유입 RMSE를 16% 감소시키고, 유출 RMSE를 8% 감소시켰다.
• ST 인코딩 게이트가 없는 아블레이션 버전 대비 성능 향상이著명하여 통합된 공간-시간 표현의 중요성을 입증하였다.
• 다중 측면 어텐션 메커니즘은 명시적인 어텐션 가중치 추출을 가능하게 하여 관련된 이전 타임스탬프와 공간 영역을 명확히 시각화한다.
• 어텐션 가중치는 모델이 올바르게 가장 관련성이 높은 이전 시점—특히 이전 일의 같은 시간대—를 식별하고 있음을 보여주며, 시간적 일관성을 입증한다.
• 모델의 해석 기능은 도시 관리자가 예측의 근거를 추적할 수 있도록 하여 신뢰도를 높이고 실용적 구현 가능성을 향상시킨다.
• 국소 입력 튜닝은 전역 입력 공급 대비 성능 향상을 이끌었으며, 먼 거리의 노이즈를 감소시키고 효율성을 향상시켰다.