[논문 리뷰] Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting

Kiran Madhusudhanan, Johannes Burchert외 3명|arXiv (Cornell University)|2021. 10. 13.

Image and Signal Denoising Methods인용 수 6

한 줄 요약

Yformer는 U-Net 구조를 영감으로 받은 트랜스포머 아키텍처로, Y자형 인코더-디코더 스택을 통해 희소 어텐션, 인코더에서 디코더로의 스킵 커넥션, 그리고 보조 재구성 손실을 통합한다. 이는 단일 및 다변량 장기 예측 시계열 예측 벤치마크에서 기준 모델 대비 평균 MSE 19.82% 향상, MAE 18.41% 향상으로 최신 기술 수준을 달성한다.

ABSTRACT

Time series data is ubiquitous in research as well as in a wide variety of industrial applications. Effectively analyzing the available historical data and providing insights into the far future allows us to make effective decisions. Recent research has witnessed the superior performance of transformer-based architectures, especially in the regime of far horizon time series forecasting. However, the current state of the art sparse Transformer architectures fail to couple down- and upsampling procedures to produce outputs in a similar resolution as the input. We propose the Yformer model, based on a novel Y-shaped encoder-decoder architecture that (1) uses direct connection from the downscaled encoder layer to the corresponding upsampled decoder layer in a U-Net inspired architecture, (2) Combines the downscaling/upsampling with sparse attention to capture long-range effects, and (3) stabilizes the encoder-decoder stacks with the addition of an auxiliary reconstruction loss. Extensive experiments have been conducted with relevant baselines on four benchmark datasets, demonstrating an average improvement of 19.82, 18.41 percentage MSE and 13.62, 11.85 percentage MAE in comparison to the current state of the art for the univariate and the multivariate settings respectively.

연구 동기 및 목표

• 장기 예측 시계열 예측을 위한 희소 트랜스포머 아키텍처에서 해상도 유지 메커니즘이 부족한 문제를 해결한다.
• U-Net 스킵 커넥션을 통한 다중 해상도 특징 학습을 트랜스포머 기반 인코더-디코더 프레임워크에 통합한다.
• 과거 타깃에 대한 보조 재구성 손실을 도입하여 학습을 안정화하고 일반화 성능을 향상시킨다.
• 트랜스포머 아키텍처 내에서 다운스케일링과 업스케일링 절차를 결합하여 고해상도 출력 예측을 가능하게 한다.
• 장기 예측을 포함한 단변량 및 다변량 시계열 예측 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• U-Net을 영감으로 하여 다운스케일된 인코더 특징을 해당되는 업스케일된 디코더 레이어에 직접 연결하는 Y자형 인코더-디코더 아키텍처를 제안한다.
• 모든 스케일 수준에서 희소 자기 어텐션 메커니즘을 통합하여 장거리 의존성을 효율적으로 모델링하면서도 계산 복잡도를 낮춘다.
• 공간(시간적) 해상도를 네트워크 전반에서 유지하는 학습 가능한 업스케일링 및 다운스케일링 연산을 적용한다.
• 예측된 과거 타깃과 진짜 타깃을 비교하는 보조 재구성 손실을 도입하여 모델이 더 잘 일반화하도록 정규화한다.
• 미래 타깃 예측과 과거 재구성의 다중 태스크 목표를 결합하여 엔드 투 엔드로 모델을 학습시킨다.
• 다양한 예측 수준에서 최적의 재구성 손실 가중치 요소(α)를 도출하기 위해 하이퍼파rameter 튜닝을 실시한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처에서 U-Net 스타일 스킵 커넥션은 장기 예측 시계열 예측 성능을 향상시킬 수 있는가?
• RQ2 보조 재구성 손실을 통합할 경우 모델의 일반화 능력과 미래 타깃 예측 성능에 어떤 영향을 미치는가?
• RQ3 희소 트랜스포머 아키텍처 내에서 다운스케일링과 업스케일링을 결합할 경우 시계열 예측의 해상도 정밀도는 어느 정도 향상되는가?
• RQ4 제안된 Yformer 아키텍처는 단변량 및 다변량 시계열 벤치마크에서 기존의 희소 트랜스포머 모델인 Informer를 초월하는가?
• RQ5 최적의 재구성 손실 가중치(α)는 다양한 예측 수준과 데이터셋 유형에 따라 어떻게 변화하는가?

주요 결과

• 모든 예측 수준에서 단변량 설정에서 Yformer는 기준 모델 대비 평균 MSE 19.82% 향상, MAE 18.41% 향상된다.
• 다변량 설정에서는 Yformer가 기준 모델 대비 MSE 13.62% 향상, MAE 11.85% 향상된다.
• U-Net 스킵 커넥션을 제거한 Yformer*(Yformer*)는 특히 장기 예측 수준에서 성능 저하가 심각하게 나타난다.
• 최적의 재구성 손실 가중치 α는 주로 예측 수준 전반에서 0.7이며, 짧은 예측 수준에서는 더 높은 값을 선호함으로써 더 강력한 정규화 효과를 보인다.
• 재구성 손실은 과거 타깃 분포에 대한 일반화를 장려함으로써 학습을 안정화시키고 과오차를 줄이며, 특히 짧은 예측 수준에서 두드러진 효과를 보인다.
• 절단 분석 결과 스킵 커넥션이 장기 예측 예측에서 가장 효과적이며, 이는 성능 향상에 있어 다중 해상도 특징 융합이 핵심임을 확인한다.