[논문 리뷰] CDSA: Cross-Dimensional Self-Attention for Multivariate, Geo-tagged Time Series Imputation

Jiawei Ma, Zheng Shou외 4명|arXiv (Cornell University)|2019. 05. 23.

Time Series Analysis and Forecasting참고 문헌 35인용 수 39

한 줄 요약

Cross-Dimensional Self-Attention(CDSA)을 도입하여 다변량 지오태깅 시계열의 시간, 위치, 측정 차원 간 주의(attention)를 모델링함으로써 결측값을 보간한다. 여러 데이터셋에서 최첨단 보간 및 예측 방법보다 우수한 성능을 보인다.

ABSTRACT

Many real-world applications involve multivariate, geo-tagged time series data: at each location, multiple sensors record corresponding measurements. For example, air quality monitoring system records PM2.5, CO, etc. The resulting time-series data often has missing values due to device outages or communication errors. In order to impute the missing values, state-of-the-art methods are built on Recurrent Neural Networks (RNN), which process each time stamp sequentially, prohibiting the direct modeling of the relationship between distant time stamps. Recently, the self-attention mechanism has been proposed for sequence modeling tasks such as machine translation, significantly outperforming RNN because the relationship between each two time stamps can be modeled explicitly. In this paper, we are the first to adapt the self-attention mechanism for multivariate, geo-tagged time series data. In order to jointly capture the self-attention across multiple dimensions, including time, location and the sensor measurements, while maintain low computational complexity, we propose a novel approach called Cross-Dimensional Self-Attention (CDSA) to process each dimension sequentially, yet in an order-independent manner. Our extensive experiments on four real-world datasets, including three standard benchmarks and our newly collected NYC-traffic dataset, demonstrate that our approach outperforms the state-of-the-art imputation and forecasting methods. A detailed systematic analysis confirms the effectiveness of our design choices.

연구 동기 및 목표

• 다양한 위치에 걸친 다센서의 다변량 지오태깅 시계열에서 결측 데이터를 해결한다.
• 시간, 공간, 측정 차원 간의 관계를 자기주_attention으로 모델링한다.
• 전체 결합 주의의 복잡도를 피하면서 Cross-Dimensional 의존성을 효율적으로 포착하도록 CDSA를 제안한다.
• RNN 기반 및 전통적 방법과 비교하여 실제 데이터셋에서 더 우수한 보간 및 예측 성능을 보인다.

제안 방법

• Cross-Dimensional Attention을 모델링하기 위한 세 가지 CDSA 전략을 제안한다: Independent(차원별 주의 후 합성), Joint(전체 Cross-Dimensional 주의), Decomposed(차원별 주의를 연쇄적으로 연결).
• 입력을 X ∈ R^{T×L×M}으로 표현하고 차원별 스트림용으로 X_T, X_L, X_M으로 재구성; 주의 맵 A_T, A_L, A_M과 분해된 곱을 이용해 cross-dimensional attention A를 형성한다.
• 결측값은 Transformer Encoder(8 레이어)로 보간하고 잔차 연결 및 층정규화를 사용; 예측은Encoder-Decoder(9 레이어)를 갖는 Transformer를 이용한다.
• 측정값을 정규화하고, 결측 항목은 0으로 채우며, Adam으로 imputation 과제의 RMSE를 최소화하도록 학습한다.
• NYC-Traffic, KDD-2015, KDD-2018, METR-LA 데이터셋에서 AR, Kriging, MTSI, BRITS, DCRNN 등과 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 자기 주의가 시간, 위치, 측정 차원 간의 다변량 지오태깅 시계열의 결측값 보간에 효과적으로 적용될 수 있는가?
• RQ2 Cross-Dimensional 의존성을 가장 잘 포착하면서도 계산적으로 feasible한(가능한) 독립적/공동/분해적 전략 중 어느 것이 최적인가?
• RQ3 CDSA 기반 모델이 다양 한 데이터셋에서 최첨단 RNN 기반 및 전통적 보간 방법보다 보간 및 예측 정확도를 향상시키는가?

주요 결과

• CDSA는 여러 실제 데이터셋에서 보간 및 예측에서 최첨단 방법보다 우수한 성능을 보인다.
• Decomposed CDSA 변형이 정확도와 계산 효율성 사이의 최적 균형을 달성하여 Independent 및 Joint/Shared 구성보다 우수한 성능을 보인다.
• NYC-Traffic에서 CDSA는 20%에서 90%의 누락률에 걸쳐 AR, Kriging, MTSI, BRITS, DCRNN보다 더 낮은 RMSE 값을 달성한다.
• KDD-2015 PM2.5, TEMP, HUM 작업에서 CDSA는 경쟁력 있는 MAE/MRE 및 더 우수한 교차 데이터셋 성능을 달성한다.
• KDD-2018에서 CDSA(Decomposed)는 보고된 모든 누락률에서 최적의 MSE를 달성한다.
• METR-LA 예측에서 CDSA는 여러 기준선보다 장기 예측(60분)을 향상시킨다.