[논문 리뷰] Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors

Yong Liu, Chenyu Li외 2명|arXiv (Cornell University)|2023. 05. 30.

Model Reduction and Neural Networks인용 수 37

한 줄 요약

Koopa는 Fourier Filter를 갖춘 모듈형 Koopman Predictors를 도입해 비정상(non-stationary) 시계열 예측에서 시간 불변 및 시간 가변 역학을 구분하고, 상당한 효율성 향상과 함께 경쟁력 있는 정확도를 달성한다.

ABSTRACT

Real-world time series are characterized by intrinsic non-stationarity that poses a principal challenge for deep forecasting models. While previous models suffer from complicated series variations induced by changing temporal distribution, we tackle non-stationary time series with modern Koopman theory that fundamentally considers the underlying time-variant dynamics. Inspired by Koopman theory of portraying complex dynamical systems, we disentangle time-variant and time-invariant components from intricate non-stationary series by Fourier Filter and design Koopman Predictor to advance respective dynamics forward. Technically, we propose Koopa as a novel Koopman forecaster composed of stackable blocks that learn hierarchical dynamics. Koopa seeks measurement functions for Koopman embedding and utilizes Koopman operators as linear portraits of implicit transition. To cope with time-variant dynamics that exhibits strong locality, Koopa calculates context-aware operators in the temporal neighborhood and is able to utilize incoming ground truth to scale up forecast horizon. Besides, by integrating Koopman Predictors into deep residual structure, we ravel out the binding reconstruction loss in previous Koopman forecasters and achieve end-to-end forecasting objective optimization. Compared with the state-of-the-art model, Koopa achieves competitive performance while saving 77.3% training time and 76.0% memory.

연구 동기 및 목표

• Koopman 이론을 사용하여 비정상 시계열에서 시간 가변 및 시간 불변 역학을 구분한다.
• 동역학 분리를 위한 Fourier Filter를 갖춘 모듈식의 계층적 Koopman 기반 예측기(Koopa) 개발.
• Koopman Predictors를 심층 잔차 구조에 통합하여 엔드-투-엔드 예측을 가능하게 한다.
• 전역으로 공유되고 지역적으로 적응된 연산자를 활용하여 예측 수평선의 확장성을 개선한다.

제안 방법

• 입력을 시간 불변(X_inv) 및 시간 가변(X_var) 구성요소로 분할하기 위해 Fourier Filter 사용.
• 전역 Koopman 임베딩 및 선형 연산자(K_inv)를 학습하기 위한 Time-invariant KP 구현.
• 세그먼트별 임베딩을 사용하여 lookback 윈도우 내에서 로컬화된 연산자(K_var)를 계산하는 Time-variant KP 구현.
• Koopa Blocks를 차례로 쌓아 잔차를 다음 블록에 Feeding하고 출력을 합산하여 계층적 역학 학습.
• Koopa Autoencoders에서 일반적으로 재구성 손실이 발생하는 대신 Y 및 실제 ground truth에 대한 엔드-투-엔드 MSE 목표로 학습.
• 학습된 구성요소를 고정시키고 incoming ground-truth 스냅샷으로 K_var를 적응시키며 예측 수평선을 확장 가능하게 한다.

실험 결과

연구 질문

• RQ1 Koopman 기반 예측기가 비정상 시계열에서 시간 불변 및 시간 가변 역학을 효과적으로 구분하고 모델링할 수 있는가?
• RQ2 모듈식의 계층적 Koopman Predictors가 최신 방법과 비교해 예측 성능 및 효율성을 향상시키는가?
• RQ3 ground-truth-적응 연산자 업데이트를 활용하여 더 긴 예측 수평선으로 모델이 확장될 수 있는가?
• RQ4 Fourier 기반 분리가 변화하는 시간 의존성을 포착하는 데 어떤 영향을 미치는가?
• RQ5 Koopa가 기존의 Koopman 기반 예측기 및 딥러닝-baseline과 실제 데이터셋에서 어떻게 비교되는가?

주요 결과

• Koopa는 여섯 개의 실제 다변량 벤치마크에서 경쟁력 있는 예측 성능을 달성하고 M4에서 강력한 단변량 결과를 보인다.
• Koopa는 PatchTST 대비 학습 시간(데이터셋별 평균 22.7% 절감) 및 메모리(평균 24.0%) 측면에서 상당한 효율성 향상을 제공한다.
• 시간 가변(K_var) 구성요소와 시간 불변(K_inv) 구성요소는 보완적이며, 어느 하나를 제거하면 성능이 저하된다.
• Fourier Filter 기반의 분리가 시간 가변 구성요소의 더 큰 변동성을 드러내어 설계 선택을 뒷받침한다.
• ground-truth 주도 연산자 적응 메커니즘은 특히 비정상 데이터에서 수평선 확장을 개선한다.