[논문 리뷰] Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals

Daojun Liang, Haixia Zhang외 3명|arXiv (Cornell University)|2024. 02. 04.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

Minusformer는 과적합을 완화하기 위해 추가적 어텐션 대신 뺄셈 기반 잔차 학습을 사용하는 새로운 트랜스포머 기반 아키텍처를 제안한다. 이중 스트림 하이웨이 구조를 통해 점진적으로 잔차를 학습함으로써, 다양한 데이터셋에서 평균 11.9% 향상된 최신 기술 수준(SOTA) 성능을 달성하며, 동시에 해석 가능성과 깊이 및 하이퍼파라미터에 대한 강건성도 향상시킨다.

ABSTRACT

In this paper, we find that ubiquitous time series (TS) forecasting models are prone to severe overfitting. To cope with this problem, we embrace a de-redundancy approach to progressively reinstate the intrinsic values of TS for future intervals. Specifically, we introduce a dual-stream and subtraction mechanism, which is a deep Boosting ensemble learning method. And the vanilla Transformer is renovated by reorienting the information aggregation mechanism from addition to subtraction. Then, we incorporate an auxiliary output branch into each block of the original model to construct a highway leading to the ultimate prediction. The output of subsequent modules in this branch will subtract the previously learned results, enabling the model to learn the residuals of the supervision signal, layer by layer. This designing facilitates the learning-driven implicit progressive decomposition of the input and output streams, empowering the model with heightened versatility, interpretability, and resilience against overfitting. Since all aggregations in the model are minus signs, which is called Minusformer. Extensive experiments demonstrate the proposed method outperform existing state-of-the-art methods, yielding an average performance improvement of 11.9% across various datasets.The code has been released at https://github.com/Anoise/Minusformer.

연구 동기 및 목표

• 특히 고차원 특성 공간에서 널리 퍼져 있는 깊은 시계열 예측 모델의 과적합 문제를 해결하기 위해.
• 예측 성능을 희생시키지 않은 채 일반화 능력과 과적합에 대한 저항력을 향상시키기 위해.
• 학습 기반 잔차 메커니즘을 통해 입력 및 출력 신호의 암묵적 점진적 분해를 가능하게 하기 위해.
• 각 블록의 출력을 최종 예측 구조와 정렬함으로써 모델의 해석 가능성 향상을 위해.
• 심지어 극도로 깊은 깊이에서도 성능을 유지하는, 하이퍼파라미터에 민감하지 않은 깊은 아키텍처를 설계하기 위해.

제안 방법

• 모델은 트랜스포머의 표준 추가적 어텐션을 뺄셈 기반 집합으로 대체하여, 모든 정보 흐름이 마이너스 기호를 사용하는 'Minusformer' 아키텍처를 형성한다.
• 각 블록에 보조 출력 스트림을 도입하여, 후속 출력이 이전에 학습된 결과를 빼내면서 감독 신호의 잔차를 학습한다.
• 이중 스트림 설계 덕분에, 레이어 간 잔차 학습을 통해 입력 및 출력 시퀀스의 암묵적 점진적 분해가 가능하다.
• 뺄셈 기반 학습의 재중복 제거 효과 덕분에, 최대 16개 블록까지 깊이 있는 스택이 가능하며 과적합이 발생하지 않는다.
• 다양한 어텐션 메커니즘(예: Prob-Attention, Period-Attention)과 호환되어 성능 향상을 위한 플러그 앤 플레이 통합이 가능하다.
• 최종 예측 형상과 블록 출력을 정렬함으로써 모델의 해석 가능성이 향상되어 각 레이어에서 학습된 구성 요소를 시각화할 수 있다.

Figure 1: Comparison of the proposed Minusformer and other latest advanced models. The results (MSE) are averaged across all prediction lengths. The numerical suffix after the model indicates the input length of the model. Minusformer is configured with two versions of input length in order to align

실험 결과

연구 질문

• RQ1 추가적 어텐션을 뺄셈 기반 집합으로 대체하면 시계열 예측 모델의 과적합을 줄일 수 있는가?
• RQ2 이중 스트림 하이웨이 구조를 통한 점진적 잔차 학습이 일반화 능력과 성능을 향상시키는가?
• RQ3 기존 트랜스포머와 달리, Minusformer 아키텍처는 깊이가 깊어져도 강력한 성능을 유지할 수 있는가?
• RQ4 모델 설계가 레이어 간 학습된 구성 요소의 해석 가능성에 어느 정도 기여하는가?
• RQ5 Prob-Attention나 Flow-Attention와 같은 새로운 어텐션 메커니즘과 통합했을 때 Minusformer의 성능은 어떠한가?

주요 결과

• Minusformer는 기존 최신 기술 수준(SOTA) 방법 대비 다양한 실세계 시계열 데이터셋에서 평균 11.9% 향상된 성능을 달성한다.
• Electricity 및 Weather 데이터셋에서 Prob-Attention를 Minusformer에 통합한 결과, MSE가 각각 46%와 61% 감소하여 새로운 SOTA 기록을 수립했다.
• 표준 iTransformer가 8개 블록에서 과적합되는 것과 달리, Minusformer는 16개 블록까지 깊이를 늘려도 과적합 징후 없이 강력한 성능을 유지한다.
• 시각화 결과 얕은 블록은 저차원 설정에서 주목할 만한 패턴을 학습하는 반면, 깊이가 증가할수록 더 깊은 블록이 잔차 성분을 흡수함을 확인할 수 있었다.
• 부록 B의 추론 분석에서 볼 수 있듯이, 하이퍼파라미터 튜닝에 덜 민감한 편이었다.
• 어텐션 시각화 결과 각 블록이 의미 있는 변화하는 패턴을 학습하며, 더 깊은 블록일수록 더 세밀한 잔차 성분을 포착하는 것으로 확인되었다.

Figure 2: Generalization of the model when time series are aggregated in different directions. The experiment was conducted utilizing Transformer with 4 blocks (baseline) on the Traffic dataset.