[논문 리뷰] A Multi-Scale Decomposition MLP-Mixer for Time Series Analysis

Shuhan Zhong, Sizhe Song외 4명|arXiv (Cornell University)|2023. 10. 18.

Time Series Analysis and ForecastingComputer Science인용 수 3

한 줄 요약

이 논문은 시간 시리즈 분석을 위한 다중 척도 분해 MLP-Mixer인 MSD-Mixer를 제안한다. 이 모델은 다중 척도 시간 패치 기반으로 입력 시계열을 명시적으로 서로 다른 시간적 성분으로 분해하고, 계층 간 표현을 학습한다. 새로운 잔차 손실을 도입하여 분해의 완전성을 강제함으로써, MSD-Mixer는 다섯 가지 작업에서 최신 기술을 초월하는 성능을 달성하며, 장기 예측의 경우 MSE 기준 최대 9.8% 향상과 함께, 데이터 보간의 경우 MSE 기준 최대 46.1% 향상을 기록한다.

ABSTRACT

Time series data, including univariate and multivariate ones, are characterized by unique composition and complex multi-scale temporal variations. They often require special consideration of decomposition and multi-scale modeling to analyze. Existing deep learning methods on this best fit to univariate time series only, and have not sufficiently considered sub-series modeling and decomposition completeness. To address these challenges, we propose MSD-Mixer, a Multi-Scale Decomposition MLP-Mixer, which learns to explicitly decompose and represent the input time series in its different layers. To handle the multi-scale temporal patterns and multivariate dependencies, we propose a novel temporal patching approach to model the time series as multi-scale patches, and employ MLPs to capture intra- and inter-patch variations and channel-wise correlations. In addition, we propose a novel loss function to constrain both the mean and the autocorrelation of the decomposition residual for better decomposition completeness. Through extensive experiments on various real-world datasets for five common time series analysis tasks, we demonstrate that MSD-Mixer consistently and significantly outperforms other state-of-the-art algorithms with better efficiency.

연구 동기 및 목표

• 기존 딥 러닝 모델이 시간 시리즈 데이터의 복잡하고 다중 척도의 시간 패턴을 다루는 데에 한계가 있음을 해결하기 위해.
• 다양한 시간 척도에서 하위 시리즈 특징과 채널 간 상관관계를 명시적으로 모델링하여 분해의 완전성을 향상시키기 위해.
• 작업 전용 아키텍처 수정 없이도 다양한 시간 시리즈 분석 작업에서 우수한 성능을 내는 작업 일반화 백본을 개발하기 위해.
• 다양한 시간 패턴에 대응하는 분리된 성분을 학습시켜 모델의 해석 가능성을 향상시키기 위해.

제안 방법

• 다양한 네트워크 계층에서 크기가 다른 겹치지 않는 패치로 시간 시리즈를 분할하는 다중 척도 시간 패치 전략을 도입하여 다중 척도 하위 시리즈 패턴을 캡처한다.
• 다중 계층 퍼셉트론(MLP)을 사용해 패치 내 변화, 패치 간 의존성, 시간 및 채널 차원 간의 채널 간 상관관계를 모델링한다.
• 분해 잔차의 크기와 자기상관을 모두 제약하는 새로운 잔차 손실을 설계하여 의미 있는 시간 패턴의 완전한 추출을 보장한다.
• 학습 중 주 작업 손실과 함께 잔차 손실을 활용하여 분해의 완전성과 최종 성능을 향상시킨다.
• 예측, 보간, 이상 탐지, 분류 등 여러 작업에 동일한 아키텍처를 적용하여 작업 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 종합적인 모델 대비 명시적인 다중 척도 분해가 다양한 시간 시리즈 분석 작업에서 성능 향상에 기여하는가?
• RQ2 다중 척도 시간 패치 기반 전략이 하위 시리즈 수준의 특징과 다중 시간 척도 패턴을 어떻게 향상시키는가?
• RQ3 잔차 손실을 통한 분해 완전성 강제가 모델 성능과 해석 가능성에 어느 정도 기여하는가?
• RQ4 단일 통합 아키텍처가 예측, 보간, 이상 탐지 및 분류 작업 전반에서 효과적으로 기능할 수 있는가?

주요 결과

• MSD-Mixer는 벤치마크 데이터셋에서 최신 기술 대비 장기 예측의 경우 MSE 기준 최대 9.8% 향상된 성능을 기록한다.
• 단기 예측의 경우 기존 접근법 대비 OWA 점수를 최대 5.6% 향상시켰다.
• 데이터 보간 작업에서는 MSE 기준 최대 46.1% 향상되어 결측 데이터에 대한 강력한 내성성을 입증했다.
• 이상 탐지 작업에서는 기준 모델 대비 F1 점수를 최대 33.1% 향상시켜 뛰어난 탐지 능력을 보였다.
• 분류 작업에서는 최신 기술 모델 대비 최대 6.5% 높은 정확도를 기록하여 강력한 일반화 능력을 입증했다.
• 소거 실험 결과, 다중 척도 패치 기반 전략 또는 잔차 손실을 제거할 경우 성능이 뚜렷이 저하되어 각 구성 요소의 설계 효과성을 검증했다.