[논문 리뷰] Learning Dynamical Systems from Data: A Simple Cross-Validation Perspective, Part V: Sparse Kernel Flows for 132 Chaotic Dynamical Systems

Yang Lu, Xiuwen Sun외 3명|arXiv (Cornell University)|2023. 01. 24.

Computational Physics and Python Applications인용 수 8

한 줄 요약

이 논문은 대규모 커널 사전을 희소화하여 시계열 데이터에서 최적의 커널을 학습하는 Sparse Kernel Flows를 도입하고, 정규 Kernel Flows 및 여러 기준선과 비교하여 132개의 혼돈 동역학 시스템에서 예측 성능이 향상됨을 보여준다.

ABSTRACT

Regressing the vector field of a dynamical system from a finite number of observed states is a natural way to learn surrogate models for such systems. A simple and interpretable way to learn a dynamical system from data is to interpolate its vector-field with a data-adapted kernel which can be learned by using Kernel Flows. The method of Kernel Flows is a trainable machine learning method that learns the optimal parameters of a kernel based on the premise that a kernel is good if there is no significant loss in accuracy if half of the data is used. The objective function could be a short-term prediction or some other objective for other variants of Kernel Flows). However, this method is limited by the choice of the base kernel. In this paper, we introduce the method of \emph{Sparse Kernel Flows } in order to learn the ``best'' kernel by starting from a large dictionary of kernels. It is based on sparsifying a kernel that is a linear combination of elemental kernels. We apply this approach to a library of 132 chaotic systems.

연구 동기 및 목표

• 해석 가능한 대리 모델링 접근법으로 커널 기반 동역학 시스템 학습의 동기를 부여한다.
• 큰 사전에서 희소하고 데이터에 적응하는 커널을 학습하여 커널 선택의 병목 현상을 해결한다.
• 132개의 혼돈 시스템 벤치마크에서 Sparse Kernel Flows의 일반화와 정확성을 평가한다.

제안 방법

• 다이나미컬 시스템 학습을 RKHS 회귀를 이용한 벡터장 커널 보간으로 정식화한다.
• Kernel Flows 교차 검증 스타일의 목표를 통해 최적화되는 매개변수를 가진 학습 가능한 커널을 사용한다.
• 기본 커널을 다수의 기본 커널의 선형 결합으로 표현하고 계수에 L1 정규화를 적용하여 희소성을 도입한다.
• 희소하고 효과적인 커널을 얻기 위해 커널 계수와 커널 하이퍼파라미터를 교대로 최적화한다 (Algorithm 1).
• 희소성을 포함한 목적 함수를 학습하기 위해 SGD(Pytorch)를 적용하고, 정확도와 간결성의 균형을 희소성 페널티를 통해 조절한다.

실험 결과

연구 질문

• RQ1 Sparse Kernel Flows가 혼돈 동역학 시스템에 대해 예측 정확도를 보존하거나 향상시키는 간결한 커널을 식별할 수 있는가?
• RQ2 커널 사전의 희소화가 예측 성능을 손상시키지 않으면서 더 나은 일반화 및 해석 가능성을 가져오는가?

주요 결과

• Sparse Kernel Flows는 혼돈 역학에서 예측 정확도를 유지하거나 향상시키면서 더 희소한 커널 표현을 생성한다.
• 132시스템 벤치마크 전반에서 Sparse Kernel Flows는 종종 Regular Kernel Flows 및 여러 기준선 커널 방법들보다 더 낮은 예측 오차를 달성한다.
• 희소성 패턴은 어떤 커널 항이 활성화되었는지 보여주며, 커널의 관련 특징 선택에서 방법의 해석 가능성을 입증한다.
• 표준 커널 회귀 접근법과 비교할 때, Sparse Kernel Flows는 테스트 예측에서 SMAPE 및 Hausdorff 거리 지표가 향상되거나 경쟁력을 제공한다.