[論文レビュー] On Few Shot Learning of Dynamical Systems: A Koopman Operator Theoretic Approach

Subhrajit Sinha, Umesh Vaidya+1 more|arXiv (Cornell University)|Mar 7, 2021

Model Reduction and Neural Networks参考文献 42被引用数 6

ひとこと要約

本稿では、人工的データ拡張とロバスト最適化を用いて、少量のデータにおける力学的システムのための頑健なKoopman作用素学習フレームワークを提案する。スパースな時系列データに微分可能でノイズに強い合成点を追加することで、Koopman作用素の忠実度が向上し、線形振動子、非線形系、Burgerの方程式のようなPDEにおいて、標準的なEDMD/DMDと比較して予測誤差が最大100倍も低減されていることが実証された。

ABSTRACT

In this paper, we propose a novel algorithm for learning the Koopman operator of a dynamical system from a extit{small} amount of training data. In many applications of data-driven modeling, e.g. biological network modeling, cybersecurity, modeling the Internet of Things, or smart grid monitoring, it is impossible to obtain regularly sampled time-series data with a sufficiently high sampling frequency. In such situations the existing Dynamic Mode Decomposition (DMD) or Extended Dynamic Mode Decomposition (EDMD) algorithms for Koopman operator computation often leads to a low fidelity approximate Koopman operator. To this end, this paper proposes an algorithm which can compute the Koopman operator efficiently when the training data-set is sparsely sampled across time. In particular, the proposed algorithm enriches the small training data-set by appending artificial data points, which are treated as noisy observations. The larger, albeit noisy data-set is then used to compute the Koopman operator, using techniques from Robust Optimization. The efficacy of the proposed algorithm is also demonstrated on three different dynamical systems, namely a linear network of oscillators, a nonlinear system and a dynamical system governed by a Partial Differential Equation (PDE).

研究の動機と目的

• 生物学的ネットワーク、IoT、スマートグリッドなど、実世界の応用で一般的な、スパースで不規則にサンプリングされた時系列データからKoopman作用素を学習する課題に対処すること。
• 訓練データが限られた場合に生じる最小二乗問題の不適切な定式化および悪条件化を克服すること。
• スパースなデータセットに微分可能でノイズに強い人工的データポイントを追加することで、低データ環境下におけるKoopmanベースのモデルの予測忠実度を向上させること。
• 線形振動子、非線形系、Burgerの方程式のようなPDEを含む多様な力学的システムにおいて、本手法の有効性を実証すること。
• データが不足する状況下でも安定性と正確性を維持できる、標準的な動的モード分解（DMD）および拡張DMD（EDMD）の代替手法を確立すること。

提案手法

• 微分可能なシステムマッピングから導出された人工的データポイントを追加することで、スパースな訓練データを拡張し、それらをノイズを含む観測値として扱う。
• 拡張されたデータセットにおけるノイズへの感受性を最小化するため、Koopman作用素学習をロバスト最適化問題として定式化する。
• 拡張されノイズを含むデータセットから、安定的で誤差の小さいKoopman作用素の近似を、ロバスト最適化技術を用いて計算する。
• 上昇空間におけるKoopman力学の線形構造を活用し、拡張されたデータ上で拡張DMD（EDMD）を用いてKoopman作用素を計算する。
• 予測誤差と固有値の安定性といった指標を用いて、標準EDMDおよびDMDと結果を比較する。
• 有限差分法を用いてPDE（例：Burgerの方程式）を離散化し、Koopman学習用の状態ベクトルを抽出する。

実験結果

リサーチクエスチョン

• RQ1 スパースで不規則にサンプリングされた時系列データからKoopman作用素を学習する際、本手法が頑健かつ正確に機能するか？
• RQ2 微分可能なシステムマッピングによる人工的データ拡張は、低データ環境下でのKoopman作用素近似をどのように改善するか？
• RQ3 ロバスト最適化に基づくKoopman作用素学習は、予測精度および固有値の安定性において、標準DMDおよびEDMDを上回るか？
• RQ4 本手法は訓練データサイズの変動に対してどれほど感受的か？また、この点で標準DMDと比較してどう異なるか？
• RQ5 本フレームワークは、非線形ODEやBurgerの方程式のようなPDEを含む複雑なシステムに対しても効果的に適用可能か？

主な発見

• ロバストEDMDは、非線形振動子の径方向成分（r）および角度成分（θ）の予測誤差を、標準EDMDと比較して最大100倍まで低減した。
• Burgerの方程式PDEの例では、35ステップ先の予測において、本手法は標準DMDと比較して平均二乗誤差が数個のオーダーも小さくなった。
• 本手法は、標準DMDが示した高くて不安定な誤差レベルと比較して、はるかに低い平均二乗誤差（10⁻²のオーダー）を示した。
• 全テスト対象の訓練データサイズ（5〜35ステップ）において、本手法の予測誤差は一貫して低く、特に最小データ環境下での向上が顕著であった。
• 本手法は固有値の安定性が向上し、スパースなデータに対して通常のEDMDが生成する不安定な固有値を回避した。
• 標準DMDは訓練データサイズの変動に対してほとんど感受性を示さなかったが、本手法はそれよりも感受性が高かった。これは、データ品質に依存しており、データ拡張の恩恵を受けることを示している。