[논문 리뷰] Forecasting Sequential Data using Consistent Koopman Autoencoders

Omri Azencot, N. Benjamin Erichson외 2명|arXiv (Cornell University)|2020. 03. 04.

Model Reduction and Neural Networks참고 문헌 44인용 수 31

한 줄 요약

이 논문은 Consistent Koopman Autoencoder (PCL)를 제안하여 잠재 공간에서 forward 및 backward Koopman dynamics를 학습하고, 노이즈하에서도 정확성과 안정성을 개선한 고차원 시계열 예측을 가능하게 한다.

ABSTRACT

Recurrent neural networks are widely used on time series data, yet such models often ignore the underlying physical structures in such sequences. A new class of physics-based methods related to Koopman theory has been introduced, offering an alternative for processing nonlinear dynamical systems. In this work, we propose a novel Consistent Koopman Autoencoder model which, unlike the majority of existing work, leverages the forward and backward dynamics. Key to our approach is a new analysis which explores the interplay between consistent dynamics and their associated Koopman operators. Our network is directly related to the derived analysis, and its computational requirements are comparable to other baselines. We evaluate our method on a wide range of high-dimensional and short-term dependent problems, and it achieves accurate estimates for significant prediction horizons, while also being robust to noise.

연구 동기 및 목표

• 물리 정보를 갖춘 구조를 사용하여 순수 데이터 기반 RNN이 아닌 시계열 예측의 동기를 제시한다.
• Consistent Koopman Autoencoder (PCL)를 도입하여 잠재 공간에서 forward/backward 역동성을 강제한다.
• 잠재 동역학의 일관성과 Koopman 연산자 간의 연결에 대한 이론적·실험적 프레임워크를 제공한다.
• 고차원, 노이즈가 많고 짧은 종속 데이터셋에서 효율성과 견고성을 demonstrate한다.

제안 방법

• 관측치를 자동인코더(encoder chi_e와 decoder chi_d)를 사용하여 저차원 잠재 공간에 인코딩한다.
• 편향이 없는 선형 Koopman 연산자 C와 D를 통해 잠재 공간에서 forward 및 backward 역동성을 모델링한다.
• 재구성, forward 예측, backward 예측, forward-backward 일관성 페널티를 결합한 손실로 학습한다.
• E_con이라는 Koopman 기반 페널티를 통해 C와 D를 결합하여 역 관계를 근사시키고 일관성을 강제한다.
• C와 D의 거듭제곱을 전파하고 Chi를 사용해 관측 공간으로 매핑하여 다단계 예측을 가능하게 한다.
• forward/backward 역동성의 연속적·이산적 일관성에 대한 이론적 조건을 제시하고 이를 C, D(Eqs. 12, 15 및 Prop. 1–2)와 연결한다.

실험 결과

연구 질문

• RQ1 일련의 아키텍처에서 forward 및 backward Koopman dynamics를 시계열 예측을 위해 하나의 구조로 어떻게 학습시킬 수 있는가?
• RQ2 forward와 backward 맵 간의 안정적이고 역변환에 가까운 동작을 보장하는 정규화/일관성 제약은 무엇인가?
• RQ3 물리 제약 학습(PCL) 프레임워크가 기존 Koopman 기반 네트에 비해 고차원 데이터셋에서 예측 정확도와 견고성을 개선할 수 있는가?
• RQ4 연속적 vs 이산적 일관성 조건이 실질적인 학습 페널티로 어떻게 반영되는가?
• RQ5 backward dynamics를 포함시키는 것이 노이즈 하에서 예측 품질과 안정성에 미치는 영향은 무엇인가?

주요 결과

모델	θ	잡음	최솟값	최댓값	평균	매개변수 수
DAE	0.8	-	0.016	0.254	0.102	0.03M
Ours	0.8	-	0.011	0.080	0.034	0.03M
DAE	0.8	true	0.062	0.563	0.232	0.03M
Ours	0.8	true	0.045	0.362	0.131	0.03M
DAE	2.4	-	0.042	0.211	0.112	0.03M
Ours	2.4	-	0.027	0.171	0.074	0.03M
DAE	2.4	true	0.191	0.521	0.316	0.03M
Ours	2.4	true	0.063	0.592	0.187	0.03M

• Consistent Koopman Autoencoder (PCL)는 고차원 및 노이즈가 있는 시계열에서 장기 예측을 정확하게 달성한다.
• 일관성 페널티가 있는 공동 Forward(C) 및 Backward(D) Koopman 연산자는 순수 Forward 기반보다 안정성과 예측력이 향상된다.
• backward dynamics 및 일관성 제약의 도입은 노이즈 및 다양한 동역학 레짐에서 더 견고한 예측을 제공한다.
• 고유값 규제(Eigenvalue regularization)를 통해 학습된 연산자의 스펙트럼을 더 유닛-서클에 가깝게 만들어 안정성을 향상시킨다.
• pendulum, cylinder flow, curved-domain vortex flow, climate data에 대한 실험은 Dynamic AE (DAE) baselines 및 RNNs/FFNs에 비해 강력한 성능을 보여준다.