[논문 리뷰] Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

Bryan Lim, Sercan Ö. Arık외 2명|arXiv (Cornell University)|2019. 12. 19.

Energy Load and Power Forecasting인용 수 83

한 줄 요약

Temporal Fusion Transformer(TFT)를 도입합니다. 이는 주의 기반(attention-based) 아키텍처로, 다중 수평 예측 성능과 해석 가능한 인사이트를 함께 달성하며, 게이팅 및 변수 선택을 통해 정적 공변량, 알려진 미래 입력, 그리고 과거에 관찰된 입력을 처리합니다.

ABSTRACT

Multi-horizon forecasting problems often contain a complex mix of inputs -- including static (i.e. time-invariant) covariates, known future inputs, and other exogenous time series that are only observed historically -- without any prior information on how they interact with the target. While several deep learning models have been proposed for multi-step prediction, they typically comprise black-box models which do not account for the full range of inputs present in common scenarios. In this paper, we introduce the Temporal Fusion Transformer (TFT) -- a novel attention-based architecture which combines high-performance multi-horizon forecasting with interpretable insights into temporal dynamics. To learn temporal relationships at different scales, the TFT utilizes recurrent layers for local processing and interpretable self-attention layers for learning long-term dependencies. The TFT also uses specialized components for the judicious selection of relevant features and a series of gating layers to suppress unnecessary components, enabling high performance in a wide range of regimes. On a variety of real-world datasets, we demonstrate significant performance improvements over existing benchmarks, and showcase three practical interpretability use-cases of TFT.

연구 동기 및 목표

• 정적 공변량, 알려진 미래 입력, 과거에 관찰된 입력이라는 이질적 입력을 다루는 다중 수평 예측의 도전 과제를 제시한다.
• 시간적 동적 구조의 해석가능성을 제공하면서 높은 예측 정확성을 달성하기 위한 TFT를 제안한다.
• 해석가능성 활용 사례를 보여주고 실제 데이터셋에서 벤치마크 대비 개선을 입증한다.
• 특징 선택, 게이팅, 분위수 기반 예측 구간을 위한 구성요소를 갖춘 실용적이고 확장 가능한 아키텍처를 제공한다.

제안 방법

• 비선형 처리 제어를 위한 GLU 기반 게이팅이 있는 Gated Residual Networks(GRNs)를 제안한다.
• 각 시점에서 중요한 정적 입력과 시변 입력을 선택하는 Variable Selection Networks를 도입한다.
• 정적 메타데이터로부터 컨텍스트 벡터(c_s, c_e, c_c, c_h)를 통해 맥락을 주입하는 Static Covariate Encoders를 사용한다.
• 해석 가능한 다중 헤드 어텐션 디코더를 사용하여 장기 의존성을 모델링하고, 각 헤드 간 해석 가능성을 위해 공유 된 값 가중치를 사용한다.
• 지역성을 강화하기 위한 시퀀스-투-시퀀스 로컬 처리 레이어와 정적 맥락을 시계열 특징과 융합하는 Static Enrichment 레이어를 적용한다.
• 원인성을 보존하고 장거리 패턴을 포착하기 위해 디코더 마스킹이 있는 Temporal Self-Attention Layer(InterpretableMultiHead)를 사용한다.
• 선형 출력 계층을 통해 예측 구간을 위한 분위수 예측(예: 10번째, 50번째, 90번째 분위수)을 산출한다.
• P50, P90 성능 및 불확실성 추정치를 최적화하기 위해 수평선 및 분위수에 걸친 분위수 손실로 학습한다.

실험 결과

연구 질문

• RQ1 정적 공변량, 알려진 미래 입력, 과거에 관찰된 입력을 효과적으로 다루는 다중 수평 예측 아키텍처를 어떻게 설계할 수 있을까?
• RQ2 주의 기반 메커니즘이 최첨단 성능에 맞먹거나 능가하면서 시간적 다이나믹스에 대한 해석 가능한 통찰을 제공할 수 있을까?
• RQ3 다양한 실제 데이터셋에 걸쳐 정확성과 해석가능성을 가장 개선하는 아키텍처 구성요소들(예: 게이팅, 변수 선택, 정적 인코더)은 무엇인가?
• RQ4 TFT의 해석가능성 기능이 전역적으로 중요한 변수, 지속적인 시간 패턴, 중요한 이벤트를 식별하는 데 사용자에게 어떻게 도움을 주는가?

주요 결과

• TFT는 여러 실제 데이터셋(Electricity, Traffic, Retail, Volatility)에서 벤치마크 대비 상당한 성능 향상을 달성한다.
• 모델은 글로벌하게 중요한 변수 식별, 지속적인 시간 패턴, 중요한 이벤트 식별의 세 가지 해석 가능성 활용 사례를 지원한다.
• 분위수 예측은 다중 수평 예측을 위한 예측 구간(P50 및 P90 등)을 가능하게 한다.
• 게이팅 및 변수 선택 네트워크가 무의미한 입력을 억제하고 데이터에 맞게 모델 복잡성을 조정하는 데 도움을 준다.
• 정적 공변량 인코더가 시간적 다이나믹스를 효과적으로 조건화하여 로컬 처리와 장기 주의에도 개선을 가져온다.
• 시퀀스-투-시퀀스 로컬 처리 레이어와 해석 가능한 다중 헤드 어텐션 디코더가 단기 및 장기 의존성의 견고한 학습을 가능하게 한다.