[논문 리뷰] NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting

Kai Chen, Guang Chen외 4명|arXiv (Cornell University)|2021. 02. 10.

Time Series Analysis and Forecasting참고 문헌 31인용 수 22

한 줄 요약

이 논문은 시간 시계열 예측을 위한 비자기적 공간-시간 트랜스포머인 NAST를 제안한다. 이는 자기적 추론을 제거하여 누적 오류를 방지한다. 학습된 시간적 영향 지ap을 도입함으로써 공간적 및 시간적 어텐션을 통합하여, 자율 주행 미래 위치 추정 데이터셋에서 정확도와 실시간 추론 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although Transformer has made breakthrough success in widespread domains especially in Natural Language Processing (NLP), applying it to time series forecasting is still a great challenge. In time series forecasting, the autoregressive decoding of canonical Transformer models could introduce huge accumulative errors inevitably. Besides, utilizing Transformer to deal with spatial-temporal dependencies in the problem still faces tough difficulties.~To tackle these limitations, this work is the first attempt to propose a Non-Autoregressive Transformer architecture for time series forecasting, aiming at overcoming the time delay and accumulative error issues in the canonical Transformer. Moreover, we present a novel spatial-temporal attention mechanism, building a bridge by a learned temporal influence map to fill the gaps between the spatial and temporal attention, so that spatial and temporal dependencies can be processed integrally. Empirically, we evaluate our model on diversified ego-centric future localization datasets and demonstrate state-of-the-art performance on both real-time and accuracy.

연구 동기 및 목표

• 시간 시계열 예측을 위한 자기적 트랜스포머에서 발생하는 본질적 시간 지연과 누적 오류 문제를 해결하기 위해.
• 학습된 메커니즘을 통해 순차적 데이터의 공간적 및 시간적 의존성을 통합하여 격차를 메우기 위해.
• 더 빠른 추론을 가능하게 하면서도 높은 예측 정확도를 유지하는 비자기적 아키텍처를 설계하기 위해.
• 다양한 자율 주행 미래 위치 추정 데이터셋에서 모델을 평가하여 강건성과 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 순차적 예측을 제거하기 위해 비자기적 트랜스포머 디코더를 제안함으로써 추론 중 누적 오류를 방지한다.
• 학습된 시간적 영향 지도를 사용하여 공간적 및 시간적 표현을 동적으로 연결하는 새로운 공간-시간 어텐션 메커니즘을 도입한다.
• 시간적 영향 지도는 시간적 특징이 공간 어텐션에 미치는 영향을 학습함으로써 공간적 및 시간적 의존성을 함께 모델링할 수 있도록 한다.
• 쿼리가 동시에 생성되며, 키-밸류 쌍은 공간적 및 시간적 인코딩에서 유도되는 다중 헤드 어텐션 메커니즘을 활용한다.
• 비자기적 예측이 진짜 시퀀스 쪽으로 유도되도록, 정규화 기반 목적함수를 사용하여 모델을 훈련시킨다.
• 비자기 설정에서 시간 순서를 유지하기 위해 위치 인코딩을 적용하여 예측의 시간 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 비자기적 트랜스포머 아키텍처가 자기적 대비로 시간 시계열 예측에서 오류 누적을 효과적으로 줄일 수 있는가?
• RQ2 학습된 시간적 영향 지도가 공간적 및 시간적 어텐션을 얼마나 잘 통합하여 시공간 의존성을 모델링할 수 있는가?
• RQ3 제안된 NAST 모델이 실제 시간 시계열 데이터에서 예측 정확도를 희생시키지 않고 더 빠른 추론 속도를 달성할 수 있는가?
• RQ4 기존 최신 기술 수준의 방법들과 비교해 NAST는 다양한 자율 주행 미래 위치 추정 벤치마크에서 얼마나 잘 성능을 내는가?

주요 결과

• NAST는 여러 자율 주행 미래 위치 추정 데이터셋에서 기존 자기적 및 비자기적 모델을 능가하는 최신 기술 수준의 성능을 달성한다.
• 자기적 디코딩을 제거함으로써 추론 시간을 크게 단축시켜 실시간 예측 기능을 가능하게 한다.
• 학습된 시간적 영향 지도는 공간적 및 시간적 특징 간의 다중 모odal 의존성을 효과적으로 포착하여 모델링 정밀도를 향상시킨다.
• 실험 결과 NAST는 장기 예측 설정에서도 높은 정확도를 유지함으로써 오류 전파에 대한 강건성을 입증한다.