[논문 리뷰] UnetTSF: A Better Performance Linear Complexity Time Series Prediction Model

Li chu, Xiao Bingjia외 1명|arXiv (Cornell University)|2024. 01. 05.

Neural Networks and Applications인용 수 7

한 줄 요약

UnetTSF는 U-Net 아키텍처와 새로운 기능 피라미드 네트워크(FPN)를 사용하여 계층적 추세 및 계절성 특징을 추출하는 선형 복잡도 시계열 예측 모델을 제안한다. 32개의 다변량 시계열 작업에서 DLinear와 PatchTST를 모두 능가하며, MSE와 MAE 모두에서 평균적으로 각각 10.1%, 9.1% 감소시켜 평균적으로 31/32개의 최적 결과를 달성한다. 이는 낮은 계산 비용을 유지하면서도 성능을 확보한 것이다.

ABSTRACT

Recently, Transformer-base models have made significant progress in the field of time series prediction which have achieved good results and become baseline models beyond Dlinear. The paper proposes an U-Net time series prediction model (UnetTSF) with linear complexity, which adopts the U-Net architecture. We are the first to use FPN technology to extract features from time series data, replacing the method of decomposing time series data into trend and seasonal terms, while designing a fusion structure suitable for time series data. After testing on 8 open-source datasets, compared to the best linear model DLiner. Out of 32 testing projects, 31 achieved the best results. The average decrease in mse is 10.1%, while the average decrease in mae is 9.1%. Compared with the complex transformer-base PatchTST, UnetTSF obtained 9 optimal results for mse and 15 optimal results for mae in 32 testing projects.

연구 동기 및 목표

• 시계열 모델에서 이진 분해의 한계를 해결하기 위해, 추세와 계절성 특징을 분리하고 단순한 융합 방식을 사용하는 문제를 해결한다.
• 자원 제약 조건 하에서 실생활에 적용 가능한 가벼운, 효율적인 선형 복잡도 모델을 설계한다.
• 다중 척도 융합을 통해 U-Net 구조를 활용한 계층적 특징 학습을 통해 예측 정확도를 향상시킨다.
• 원시 데이터와 이진 분해를 초월하는 새로운 데이터 표현 방법—FPN 기반의 시계열 기술—을 제안한다.
• 모델 파라미터와 MACs를 최소화하면서도 다변량 시계열 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 작은 풀링 커널을 사용하여 추세 및 계절성 특징을 다중 수준에서 추출하는 시계열 데이터를 위한 기능 피라미드 네트워크(FPN)를 제안한다. 이는 추세와 계절성 항목으로 분해하지 않고도 가능하다.
• 스킵 연결을 통해 고수준의 추세 특징을 저수준 특징에 융합하는 U-Net 기반 아키텍처를 도입하여 계층적 특징 통합을 가능하게 한다.
• 깊은 수준의 추세 특징을 낮은 수준의 특징에 점진적으로 통합하는 다단계 융합 전략을 사용하여 국소적 및 전반적 패턴을 모두 유지한다.
• 어텐션 메커니즘을 사용하지 않고 완전 연결 및 풀링 레이어를 활용하여 선형 계산 복잡도를 유지한다.
• 고정된 봉인 윈도우를 사용하여 다변량 시계열에서 MSE 및 MAE 손실 함수를 기반으로 엔드 투 엔드 학습을 수행한다.
• 다양한 수준에서 추세 및 계절성 특징을 융합하는 융합 모듈을 설계하여 단순한 덧셈을 초월한 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 FPN 스타일의 특징 추출을 사용하는 U-Net 기반 아키텍처가 DLinear와 같은 기존 선형 복잡도 모델보다 시계열 예측에서 뛰어난 성능을 내는가?
• RQ2 이진 분해를 계층적 FPN 기반 특징 추출 방식으로 대체할 경우 성능 향상과 일반화 능력 향상이 이루어지는가?
• RQ3 가벼운 완전 연결 U-Net 모델이 선형 복잡도와 낮은 메모리 사용량을 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 UnetTSF는 PatchTST와 같은 복잡한 트랜스포머 기반 모델과 비교해 정확도, 추론 속도, 파라미터 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 U-Net 아키텍처 내에서의 다중 수준 특징 융합이 장기 예측 다변량 시계열에서 예측 성능을 얼마나 향상시키는가?

주요 결과

• 8개의 데이터셋에서 다변량 시계열 예측을 수행한 결과, UnetTSF는 MSE와 MAE 모두에서 32개 중 31개의 최적 결과를 기록하여 DLinear와 PatchTST를 크게 능가했다.
• 32개의 실험에서 DLinear 대비 평균 MSE를 10.1% 감소시키고, 평균 MAE를 9.1% 감소시켰다.
• 정기적인 기상 데이터셋에서 UnetTSF는 모든 최적 결과를 달성했으며, PatchTST 대비 MSE는 1.0% 감소하고 MAE는 0.4% 감소했고, DLinear 대비 MSE는 12.6%, MAE는 15.1% 감소시켰다.
• ILI 데이터셋에서 예측 길이가 60일일 경우, UnetTSF는 DLinear 대비 MSE를 66.6% 감소시키고 MAE를 46.7% 감소시켰다.
• PatchTST 벤치마크에서 UnetTSF는 MAE 15개, MSE 9개에서 최적 결과를 기록했으며, 복잡한 PatchTST 모델보다 각각 7회, 10회에서 더 뛰어난 성능를 보였다.
• 계산 효율성 측면에서 UnetTSF는 단지 13.56M MACs를 사용했고, DLinear보다 6.6% 적고, PatchTST보다 12.1배 적어 자원이 제한된 환경에 매우 적합하다.