[논문 리뷰] Koopman Neural Forecaster for Time Series with Temporal Distribution Shifts

Rui Wang, Yihe Dong외 2명|arXiv (Cornell University)|2022. 10. 07.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 시간 분포 변화가 발생하는 상황에서 시계열 예측 성능을 햖थ기 위해 쿠프만 이론을 활용하는 딥러닝 모델인 쿠프만 신경 예측기(KNF)를 제안한다. 학습 가능한 계수와 사전 정의된 측정 함수를 조합하고, 전역 및 국소 쿠프만 연산자를 사용하며, 예측 오차 기반 동적 적응을 위한 피드백 루프를 통합함으로써 KNF는 M4, 암호화폐 수익률, NBA 선수 궤적과 같은 비 stationary 데이터셋에서 최신 기술 성능(SOTA)을 달성한다. 또한 스펙트럼 분해를 통해 해석 가능한 분석을 가능하게 한다.

ABSTRACT

Temporal distributional shifts, with underlying dynamics changing over time, frequently occur in real-world time series and pose a fundamental challenge for deep neural networks (DNNs). In this paper, we propose a novel deep sequence model based on the Koopman theory for time series forecasting: Koopman Neural Forecaster (KNF) which leverages DNNs to learn the linear Koopman space and the coefficients of chosen measurement functions. KNF imposes appropriate inductive biases for improved robustness against distributional shifts, employing both a global operator to learn shared characteristics and a local operator to capture changing dynamics, as well as a specially-designed feedback loop to continuously update the learned operators over time for rapidly varying behaviors. We demonstrate that \ours{} achieves superior performance compared to the alternatives, on multiple time series datasets that are shown to suffer from distribution shifts.

연구 동기 및 목표

• 지속적인 시간 분포 변화가 발생하는 시계열에서 장기 예측 문제를 해결하기 위해, 현재의 딥러닝 모델이 비정상성으로 인해 어려움을 겪는 문제를 해결한다.
• 쿠프만 이론을 통해 인덕티브 바이어스를 통합함으로써 비정상 환경에서의 강건성과 일반화 능력을 향상시킨다.
• 쿠프만 연산자의 스펙트럼 분석을 통해 복잡하고 변화하는 역학을 설명 가능한 방식으로 모델링한다.
• 지속적으로 예측 오차에 기반해 쿠프만 연산자를 업데이트하는 피드백 메커니즘을 개발하여 빠르게 변화하는 데이터 분포에 적응한다.
• 실제 비정상 시계열 벤치마크에서 기존의 딥러닝 및 통계 모델을 능가하는 성능을 확보한다.

제안 방법

• KNF는 예측 가능한 측정 함수(예: 다항식, 지수함수 등)에 작용하는 쿠프만 연산자를 활용한 인코더-디코더 네트워크와의 하이브리드 아키텍처를 사용하여 비선형 역학을 선형적으로 모델링한다.
• 전역 쿠프만 연산자는 시간 시리즈 간의 공통적인 장기적 패턴을 포착하고, 국소 쿠프만 연산자는 단기적이고 분포 특화된 변화에 적응한다.
• 학습 가능한 계수를 사용해 시계열을 쿠프만 공간으로 투영함으로써, 올리프트된 공간에서 선형 역학을 유지하면서도 비선형 표현력을 유지한다.
• 피드백 루프는 예측 오차 기반으로 쿠프만 연산자를 지속적으로 업데이트하여 재학습 없이도 비정상적 역학에 적응할 수 있도록 한다.
• 훈련 안정성 향상과 분포 변화 간의 일반화 능력 향상을 위해 복원 가능한 인스턴스 정규화(Reversible Instance Normalization, ReVIN)를 통합한다.
• 쿠프만 연산자의 스펙트럼 분석을 통해 주요 고유값과 고유함수를 식별함으로써 추세, 계절성 또는 진동 행동과 관련된 의미 있는 역학적 패턴을 해석할 수 있다.

실험 결과

연구 질문

• RQ1 쿠프만 이론을 딥러닝과 효과적으로 융합하여 시간 분포 변화가 발생하는 비정상 시계열을 모델링할 수 있는가?
• RQ2 사전 정의된 측정 함수와 학습 가능한 계수는 분포 변화 상황에서 샘플 수가 적은 환경에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 이중 연산자 구조(전역 + 국소)는 공통된 동적 패턴과 변화하는 동적 패턴을 동시에 모델링하는 데 얼마나 효과적인가?
• RQ4 지속적인 분포 변화 상황에서 장기 예측 정확도를 유지하는 데 피드백 루프는 얼마나 효과적인가?
• RQ5 쿠프만 연산자의 스펙트럼 분석을 통해 시간 시리즈의 기저 역학적 패턴에 대해 의미 있는 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• KNF는 M4 데이터셋에서 최신 기술 성능을 달성하였으며, 피드백과 전역 연산자를 포함한 모든 구성 요소를 사용할 경우 주간 서브셋에서 sMAPE를 7.254로 감소시켰다.
• 제거 실험 결과, ReVIN, 전역 연산자, 피드백 루프를 추가할수록 기본 모델(sMAPE: 14.175 → 7.254)의 성능 향상이 뚜렷하게 나타났다.
• 피드백 루프를 제거한 모델는 몇 단계 이후에 예측 정확도가 급격히 떨어지는 것으로 나타나, 장기적 강건성 확보에 피드백 루프의 핵심적 역할을 확인했다.
• KNF는 개별 고유함수를 사용해 시계열을 성공적으로 재구성하였으며, 일부 고유함수는 추세를 포착하고 다른 고유함수는 계절성을 모델링함으로써 스펙트럼 분석을 통한 설명 가능성의 타당성을 입증했다.
• 합성 진동 시스템에서 KNF는 다양한 초기 조건과 다항식 사전에 대해 잘 일반화되었으며, 알려진 역학을 학습할 수 있음을 검증했다.
• 암호화폐 수익률 예측 및 NBA 선수 궤적 예측과 같은 도전적인 비정상 시계열 데이터셋에서 강력한 베이스라인 모델들을 능가함으로써 실용적 유용성을 확인했다.