[논문 리뷰] Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting

Shiyang Li, Xiaoyong Jin외 5명|arXiv (Cornell University)|2019. 06. 29.

Time Series Analysis and Forecasting참고 문헌 35인용 수 1,006

한 줄 요약

논문은 합성곱 자체-주의(convolutional self-attention)와 LogSparse Transformer를 도입하여 로컬 컨텍스트 인식 능력을 향상시키고 메모리 비용을 감소시켜, 메모리 제약 하에서도 장기 의존성을 포함하는 Transformer 기반 시계열 예측을 가능하게 한다.

ABSTRACT

Time series forecasting is an important problem across many domains, including predictions of solar plant energy output, electricity consumption, and traffic jam situation. In this paper, we propose to tackle such forecasting problem with Transformer [1]. Although impressed by its performance in our preliminary study, we found its two major weaknesses: (1) locality-agnostics: the point-wise dot-product self-attention in canonical Transformer architecture is insensitive to local context, which can make the model prone to anomalies in time series; (2) memory bottleneck: space complexity of canonical Transformer grows quadratically with sequence length $L$, making directly modeling long time series infeasible. In order to solve these two issues, we first propose convolutional self-attention by producing queries and keys with causal convolution so that local context can be better incorporated into attention mechanism. Then, we propose LogSparse Transformer with only $O(L(\log L)^{2})$ memory cost, improving forecasting accuracy for time series with fine granularity and strong long-term dependencies under constrained memory budget. Our experiments on both synthetic data and real-world datasets show that it compares favorably to the state-of-the-art.

연구 동기 및 목표

• Transformer 아키텍처를 시계열 예측에 도입하여 장기간 및 짧은 기간의 의존성을 포착하려는 동기를 부여한다.
• causal convolution을 통한 지역 컨텍스트를 포함시켜 locality-agnostic self-attention 문제를 해결한다.
• 표준 Transformer의 메모리 병목 현상을 완화하여 길고 미세한 시계열의 모델링을 가능하게 한다.
• 제약된 메모리 하에서 합성 데이터와 실데이터에 대한 예측 성능을 개선했음을 입증한다.

제안 방법

• 합성곱으로 질의어(query)와 키(key)를 생성하여 지역 컨텍스트를 반영하는 합성곱 자기주의를 도입한다.
• kernel k로 표준 자기주의를 일반화하며, k=1일 때 표준 주의(attention)를 회복한다.
• Cell별로 O(log L) 이전 위치에 한해 주의를 제한하는 LogSparse Transformer를 제안하여 메모리를 O(L (log L)^2)로 만든다.
• O(log L) 계층에서 과거의 어떤 위치에서 현재의 어떤 위치로도 정보를 흐르게 함으로써 이론적으로 가능함을 보인다.
• 지역적 주의(attention) 및 재시작 주의(restart attention) 변형을 도입하여 정보 흐름과 효율성을 더욱 개선한다.
• 합성 및 실데이터를 포함한 Baseline 대비 실험적으로 비교하여 롤링 윈도우 예측 및 horizon 기반 작업을 수행한다.

실험 결과

연구 질문

• RQ1 합성곱 자기주의가 시계열에서 지역성 인식 및 Forecasting 정확도를 표준 Transformer 대비 개선할 수 있는가?
• RQ2 LogSparse Transformer가 장기적이고 미세한 시계열에서 메모리 사용을 대폭 줄이면서 예측 성능을 유지하거나 향상시키는가?
• RQ3 커널 크기와 희소성 패턴이 학습 역학 및 예측 정확도에 데이터 세트의 긴 기간 의존성에 따라 어떤 영향을 미치는가?
• RQ4 locality-aware attention이 전체 주의 대비 학습 수렴 및 모델 효율성에 미치는 영향은 무엇인가?

주요 결과

• 합성곱 자기주의는 질의-키 매칭에서 지역 컨텍스트를 활용하여 예측 정확도를 향상시킨다.
• LogSparse Transformer는 메모리를 O(L (log L)^2)로 달성하여 메모리 제약 하에서 길고 미세한 시계열 모델링을 가능하게 한다.
• 합성곱 자기주의에서 더 큰 커널 크기는 긴 기간 의존성이 강한 어려운 데이터 세트에서 현저한 이득을 준다.
• 실험은 합성 방법과 제안된 방법이 합리적 Baseline 대비 우수한 성능을 보였으며, 합성 및 실세계 데이터 세트에서 우수한 성능을 보인다.
• 합성곱 자기주의는 학습 속도를 가속화하고 학습 손실을 감소시켜 최적화가 더 용이하다는 것을 시사한다.