[논문 리뷰] Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series

Jong‐Hyeon Lee, Edward De Brouwer외 2명|arXiv (Cornell University)|2021. 11. 25.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 시간 간격이 비균일한 시계열 데이터로부터 동적 시스템을 학습하기 위해 커널 플로우(Kernel Flows, KF)의 확장을 제안한다. 시간 간격을 지연 임bedding에 통합함으로써 커널에 시간 정보를 통합함으로써, 표준 KF 및 오일러 기반 방법에 비해 예측 정확도를 크게 향상시킨다. 특히 높은 비균일성 조건에서 두드러진 성능 향상을 보이며, 간단하고 빠르며 해석 가능성도 유지하면서도 재생 핵 힐버트 공간(RKHS) 내 커널 기반 보간을 통해 강건성을 확보한다.

ABSTRACT

A simple and interpretable way to learn a dynamical system from data is to interpolate its vector-field with a kernel. In particular, this strategy is highly efficient (both in terms of accuracy and complexity) when the kernel is data-adapted using Kernel Flows (KF)\cite{Owhadi19} (which uses gradient-based optimization to learn a kernel based on the premise that a kernel is good if there is no significant loss in accuracy if half of the data is used for interpolation). Despite its previous successes, this strategy (based on interpolating the vector field driving the dynamical system) breaks down when the observed time series is not regularly sampled in time. In this work, we propose to address this problem by directly approximating the vector field of the dynamical system by incorporating time differences between observations in the (KF) data-adapted kernels. We compare our approach with the classical one over different benchmark dynamical systems and show that it significantly improves the forecasting accuracy while remaining simple, fast, and robust.

연구 동기 및 목표

• 비균일하게 샘플링된 시계열에서 표준 커널 기반 동적 시스템 학습 방법의 실패를 해결한다.
• 비균일 샘플링에서 벡터 필드 보간의 한계를 극복하기 위해 플로우 맵 근사의 일반화를 시도한다.
• 기존 KF의 장점을 유지하면서도 비균일 시간 간격에 적응하는 단순하고 해석 가능하며 효율적인 방법을 개발한다.
• 다양한 비균일성 수준에서 혼돈 시스템인 헨온 맵, 반데르폴 진동자, 로렌츠 시스템에서 개선된 예측 성능을 입증한다.
• 데이터 적응형 커널과 재생 핵 힐버트 공간(RKHS) 프레임워크 내 기울기 기반 최적화를 활용하여 강건성과 확장성을 확보한다.

제안 방법

• 관측 간 시간 간격을 포함한 지연 임베딩을 수정하여 KF를 비균일 시계열로 확장한다.
• 관측 간 시간 간격을 입력 공간 내 추가 특성로 간주하여 커널 구축에 직접 통합한다.
• 예측 오차를 최소화하기 위해 기울기 기반 최적화(커널 플로우)를 통해 커널을 학습하는 수정된 커널 리지 회귀 프레임워크를 사용한다.
• 표준 벡터 필드 보간 방식을 대체하기 위해 시간 인식 지연 임베딩을 사용해 일반화된 플로우 맵을 근사한다.
• 커널 하이퍼파rameter를 최적화하기 위해 미니배치 확률적 경사 하강법(SGD)을 적용하며, 주로 RKHS 노름에서의 상대 오차를 최소화하는 데 중점을 둔다.
• 시간 인식 커널 설계를 통해 비균일 샘플링을 처리하는 능력을 향상시키면서도 원래 KF 프레임워크의 단순성과 해석 가능성은 유지한다.

실험 결과

연구 질문

• RQ1 해석 가능성이나 계산 효율성을 희생시키지 않고 커널 플로우를 비균일 시계열에 효과적으로 적용할 수 있는가?
• RQ2 커널에 시간 간격을 통합함으로써 표준 KF 및 오일러 이산화 방법에 비해 예측 정확도는 어떻게 향상되는가?
• RQ3 표준 KF가 실패하는 성능 저하 임계점(최대 시간 간격 α 기준)은 어디이며, 제안된 방법은 이를 어떻게 완화하는가?
• RQ4 학습률 및 학습 에포크 수와 같은 하이퍼파rameter에 대해 비균일 KF 알고리즘의 성능는 얼마나 민감한가?
• RQ5 혼돈 시스템에서 비균일 샘플링 조건에서도 장기 예측 수평선에서 제안된 방법이 강건성과 정확도를 유지하는가?

주요 결과

• 헨온 맵에서 α > 3 인 조건에서 비균일 KF 알고리즘이 표준 KF 및 오일러 기반 KF보다 유의미하게 뛰어난 성능을 보이며, 둘 다 완전히 실패한다.
• 반데르폴 진동자에서 비균일 KF는 α = 7까지 정확한 예측을 유지하지만, 표준 KF 및 오일러 방법은 더 이르게 실패한다.
• 로렌츠 시스템에서 α = 5일 때 비균일 KF는 MSE 0.003 ± 0.003, R² 0.967 ± 0.029를 달성하여 표준 KF(MSE: 0.026 ± 0.015, R²: 0.700 ± 0.170)를 압도한다.
• α = 10일 때 비균일 KF의 MSE는 0.065 ± 0.055( R²: 0.204 ± 0.669)로 증가하지만, 일부 경우에서 표준 KF(MSE: 0.028 ± 0.003, R²: 0.679 ± 0.030)보다 우수한 성능를 보인다.
• 예측 수평선 h = 50일 때 비균일 KF는 MSE 0.018 ± 0.006, R² 0.791 ± 0.074를 달성하여 표준 KF(MSE: 0.023 ± 0.004, R²: 0.734 ± 0.031)를 능가한다.
• 학습률 η = 0.01이 최적의 성능을 낳으며, η = 0.001과 η = 0.1은 각각 학습이 부족하거나 과도해져 MSE가 높아진다.