[논문 리뷰] Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

Haoyi Zhou, Shanghang Zhang외 5명|arXiv (Cornell University)|2020. 12. 14.

Time Series Analysis and Forecasting참고 문헌 57인용 수 462

한 줄 요약

Informer는 ProbSparse self-attention, attention distilling, 그리고 generative style decoder를 도입하여 Transformer-유사 모델로 효율적이고 확장 가능한 긴 시퀀스 시계열 예측을 가능하게 한다.

ABSTRACT

Many real-world applications require the prediction of long sequence time-series, such as electricity consumption planning. Long sequence time-series forecasting (LSTF) demands a high prediction capacity of the model, which is the ability to capture precise long-range dependency coupling between output and input efficiently. Recent studies have shown the potential of Transformer to increase the prediction capacity. However, there are several severe issues with Transformer that prevent it from being directly applicable to LSTF, including quadratic time complexity, high memory usage, and inherent limitation of the encoder-decoder architecture. To address these issues, we design an efficient transformer-based model for LSTF, named Informer, with three distinctive characteristics: (i) a $ProbSparse$ self-attention mechanism, which achieves $O(L \log L)$ in time complexity and memory usage, and has comparable performance on sequences' dependency alignment. (ii) the self-attention distilling highlights dominating attention by halving cascading layer input, and efficiently handles extreme long input sequences. (iii) the generative style decoder, while conceptually simple, predicts the long time-series sequences at one forward operation rather than a step-by-step way, which drastically improves the inference speed of long-sequence predictions. Extensive experiments on four large-scale datasets demonstrate that Informer significantly outperforms existing methods and provides a new solution to the LSTF problem.

연구 동기 및 목표

• 장기 시퀀스 시계열 예측(LSTF)과 그 예측 능력의 과제 해결을 동기화한다.
• LSTF를 위한 계산 및 메모리 효율이 높은 Transformer 기반 모델을 개발한다.
• 제곱 비용 없이 장거리 의존성 캡처를 개선하는 메커니즘을 제안한다.
• 대규모 실제 데이터셋에서 실용적이고 확장 가능한 예측을 시연한다.

제안 방법

• canonical self-attention을 O(L log L) 시간 및 메모리로 달성하는 ProbSparse self-attention으로 대체한다.
• layer-wise 다운샘플링을 통해 지배적 주의력을 강조하고 메모리를 감소시키는 self-attention distilling을 도입한다.
• 단일 순전파에서 긴 출력 시퀀스를 예측하는 생성형 스타일 디코더를 사용하여 추론 시간 및 오류 누적을 줄인다.
• LSTF에 맞춘 인코더-디코더 아키텍처를 제공하고 전역 및 지역 시간 맥락을 강화하는 입력 표현을 사용한다.
• 타깃 시퀀스에 대한 MSE 손실로 학습하고 단변량 및 다변량 예측 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 타임시리즈 예측에서 매우 긴 입력/출력 시퀀스에 대해 Transformer-유사 모델을 계산 및 메모리 효율적으로 만들 수 있는가?
• RQ2 ProbSparse self-attention, attention distilling, 그리고 생성형 디코더가 LSTF의 정확도와 효율성을 함께 개선하는가?
• RQ3 Informer는 실제 데이터셋에서 단변량 대 다변량 장기 예측 성능이 어떠한가?

주요 결과

• Informer는 여러 데이터셋과 지평선 길이에서 예측 성능을 크게 개선한다.
• ProbSparse self-attention은 이론적으로는 이차 비용에서 거의 선형으로의 계산과 메모리 감소를 달성하면서 의존성 정렬을 경쟁력 있게 유지한다.
• Self-attention distilling은 인코더 메모리를 크게 감소시키면서 장거리 정보 처리 기능을 보존하거나 개선한다.
• 생성형 스타일 디코더는 단일 순전파로 긴 시퀀스 출력을 가능하게 하여 추론 속도를 높이고 오류 전이를 완화한다.
• 추가 연구(ablation)에서 ProbSparse 메커니즘과 distilling 접근의 효과가 다양한 구성에서 확인된다.