[論文レビュー] Stochastic Adversarial Koopman Model for Dynamical Systems

Kaushik Balakrishnan, Devesh Upadhyay|arXiv (Cornell University)|Sep 10, 2021

Model Reduction and Neural Networks参考文献 49被引用数 6

ひとこと要約

本稿では、潜在表現をガウス分布としてモデル化し、学習された行列 $K_\mu$ および $K_\sigma$ を用いてその平均と標準偏差にコプマン作用素を適用する、確率的対抗的コプマン（SAK）モデルを提案する。この手法は、敵対的訓練と変分オートエノードバーバーを組み合わせ、カオス的・流体的・電池動的システムにおいて、予測のロバスト性と低誤差を実現する。三重対角行列を用いたコプマン行列は、顕著に少ないパラメータ数で同等の性能を達成する。

ABSTRACT

Dynamical systems are ubiquitous and are often modeled using a non-linear system of governing equations. Numerical solution procedures for many dynamical systems have existed for several decades, but can be slow due to high-dimensional state space of the dynamical system. Thus, deep learning-based reduced order models (ROMs) are of interest and one such family of algorithms along these lines are based on the Koopman theory. This paper extends a recently developed adversarial Koopman model (Balakrishnan \& Upadhyay, arXiv:2006.05547) to stochastic space, where the Koopman operator applies on the probability distribution of the latent encoding of an encoder. Specifically, the latent encoding of the system is modeled as a Gaussian, and is advanced in time by using an auxiliary neural network that outputs two Koopman matrices $K_μ$ and $K_σ$. Adversarial and gradient losses are used and this is found to lower the prediction errors. A reduced Koopman formulation is also undertaken where the Koopman matrices are assumed to have a tridiagonal structure, and this yields predictions comparable to the baseline model with full Koopman matrices. The efficacy of the stochastic Koopman model is demonstrated on different test problems in chaos, fluid dynamics, combustion, and reaction-diffusion models. The proposed model is also applied in a setting where the Koopman matrices are conditioned on other input parameters for generalization and this is applied to simulate the state of a Lithium-ion battery in time. The Koopman models discussed in this study are very promising for the wide range of problems considered.

研究の動機と目的

• 動的システムのデータ駆動型低次元モデル（ROM）を構築し、不確実性と非線形ダイナミクスを効率的に捉えること。
• 潜在埋め込みの分布をガウス分布としてモデル化することで、確率的状態予測を可能にする。
• 敵対的訓練（GAN識別器）を用いることで、潜在空間における実現性と予測精度を向上させ、予測のロバスト性と誤差を低減すること。
• 外部パラメータ（例：電池の充電状態や制御入力）に依存する条件付きコプマン行列を用いることで、一般化を可能にすること。
• 低ランクのコプマン構造（例：三重対角）を探索し、予測精度を損なわずにモデルの複雑さを低減すること。

提案手法

• スチューデントトボトルネックを備えたオートエンコーダーが、高次元のシステム状態を平均 $\mu$ と標準偏差 $\sigma$ でパラメータ化された潜在ガウス分布にマッピングする。
• 補助ニューラルネットワークが、時間経過に伴う潜在分布の平均と標準偏差を線形に進める2つのコプマン行列 $K_\mu$ と $K_\sigma$ を予測する。
• コプマンダイナミクスは、再構成損失、勾配損失、およびGAN識別器からの敵対的損失を組み合わせて訓練され、潜在空間の現実性と予測精度が向上する。
• 低次元化された定式化では、$K_\mu$ および $K_\sigma$ に三重対角構造を仮定することで、トレーニング可能なパラメータ数を著しく削減しながらも性能を維持する。
• コプマン行列が外部入力（例：制御パラメータや電池状態）に依存する条件付き設定に拡張され、さまざまな条件下での動的システムの予測が可能になる。
• デコーダーは、進化した潜在分布から物理空間の状態を再構成し、システムの進化を長期間にわたって予測可能にする。

実験結果

リサーチクエスチョン

• RQ1 個々のサンプルではなく、潜在表現の確率分布にコプマン作用素を効果的に適用することは可能か？ これにより、動的システムの不確実性を考慮したモデリングが向上するか？
• RQ2 GAN識別器を用いた敵対的訓練は、高次元で非線形なシステムにおけるコプマンベースの予測のロバスト性と精度をどのように向上させるか？
• RQ3 複雑な動的システムにおいて、予測性能を損なわずにコプマン行列のサイズを小さくできる（例：三重対角構造）程度はどの程度か？
• RQ4 外部パラメータに依存する条件付きコプマンモデルは、電池モデリングのような多様なシステム状態に一般化可能か？
• RQ5 時間的に変化する平均と分散を持つガウス分布として潜在状態をモデル化することで、決定論的表現に比べてより正確で安定した長期予測が可能になるか？

主な発見

• SAKモデルは、カオス的・流体的・電気化学的システムを含む5つの多様な動的システムにおいて、ベースラインモデルよりも低いテスト予測誤差を達成した。特に、GAN損失重み $\lambda_{\mathrm{GAN}}$ が適切に調整された場合に顕著である。
• GAN識別器を用いた敵対的訓練により、5つのテスト問題のうち4つで予測誤差が低減され、潜在空間におけるロバスト性と一般化能力が向上したことが示された。
• 三重対角コプマン形式は、完全なコプマン行列と同等の予測性能を達成しながら、非ゼロパラメータ数を1桁減少させた。
• 条件付きSAKモデルは、さまざまな運転条件下でのリチウムイオン電池の状態進化を成功裏に予測し、強力な一般化能力を示した。
• モデルは、カオス（Kuramoto-Sivashinsky）、渦巻きの発生、flame-vortex相互作用、反応拡散過程といった複雑なダイナミクスを高い精度で捉えた。
• 確率的潜在表現の使用により、決定論的モデルに比べてより豊かな不確実性評価が可能な、将来的な状態の分布を予測可能となった。