[論文レビュー] Learning Dynamical Systems from Data: A Simple Cross-Validation Perspective, Part V: Sparse Kernel Flows for 132 Chaotic Dynamical Systems

Yang Lu, Xiuwen Sun+3 more|arXiv (Cornell University)|Jan 24, 2023

Computational Physics and Python Applications被引用数 8

ひとこと要約

本論文は Sparse Kernel Flows を用いて時系列データから最適なカーネルを学習する手法を提案し、大規模カーネル辞書のスパース化を通じて 132 のカオス力学系に対する予測を、通常の Kernel Flows および複数のベースラインと比較して改善している。

ABSTRACT

Regressing the vector field of a dynamical system from a finite number of observed states is a natural way to learn surrogate models for such systems. A simple and interpretable way to learn a dynamical system from data is to interpolate its vector-field with a data-adapted kernel which can be learned by using Kernel Flows. The method of Kernel Flows is a trainable machine learning method that learns the optimal parameters of a kernel based on the premise that a kernel is good if there is no significant loss in accuracy if half of the data is used. The objective function could be a short-term prediction or some other objective for other variants of Kernel Flows). However, this method is limited by the choice of the base kernel. In this paper, we introduce the method of \emph{Sparse Kernel Flows } in order to learn the ``best'' kernel by starting from a large dictionary of kernels. It is based on sparsifying a kernel that is a linear combination of elemental kernels. We apply this approach to a library of 132 chaotic systems.

研究の動機と目的

• 解釈可能な代替モデリング手法としてのカーネルベースの動的システム学習を動機づける。
• 大規模な辞書からデータ適応的でスパースなカーネルを学習することによるカーネル選択のボトルネックを解決する。
• 132 のカオス系のベンチマークで Sparse Kernel Flows の一般化と精度を評価する。

提案手法

• 動的システム学習を RKHS 回帰を用いたベクトル場のカーネル補間として定式化する。
• Kernel Flows のクロスバリデーション風の目的関数で最適化されるパラメータを持つ trainable なカーネルを使用する。
• 基底カーネルを多数の要素カーネルの線形結合として表現し、係数に L1 正則化を適用してスパース性を導入する。
• カーネル係数とカーネル超パラメータを交互に最適化して、スパースで効果的なカーネルを得る（Algorithm 1）。
• スパース性を持つ目的関数で SGD（PyTorch）を用いて学習し、精度と簡潔さのバランスをスパースペナルティによって取る。

実験結果

リサーチクエスチョン

• RQ1 Sparse Kernel Flows はカオス力学系の予測精度を維持・向上させるほど parsimonious なカーネルを同定できるか。
• RQ2 カーネル辞書のスパース化は、予測性能を犠牲にせず一般化と解釈性を高めるか。

主な発見

• Sparse Kernel Flows はカーネル表現をよりスパースにしつつ、カオスダイナミクスの予測精度を維持または向上させる。
• 132 系統のベンチマーク全体で、Sparse Kernel Flows はしばしば Regular Kernel Flows および複数のベースラインカーネル法よりも予測誤差を低く抑える。
• スパース性パターンは活性なカーネル項を示し、カーネルの関連特徴を選択する手法の解釈可能性を実証する。
• 標準的なカーネル回帰法と比較して、Sparse Kernel Flows はテスト予測で SMAPE および Hausdorff 距離指標が改善または競合する。