[論文レビュー] Dynamical Systems and Neural Networks

Akshunna S. Dogra|arXiv (Cornell University)|Apr 20, 2020

Model Reduction and Neural Networks参考文献 5被引用数 4

ひとこと要約

本稿では、力学系のニューラルネットワーク（NN）スolverの学習を、Koopman作用素のスペクトル的性質を活用することで高速化するKoopman作用素理論（KOT）駆動フレームワークを提案する。データからKoopman固有関数および固有モードを同定することで、計算コストを低減し、精度と微分可能性を保持したまま、効率的で自己教師ありの学習を可能にする。

ABSTRACT

Neural Networks (NNs) have been identified as a potentially powerful tool in the study of complex dynamical systems. A good example is the NN differential equation (DE) solver, which provides closed form, differentiable, functional approximations for the evolution of a wide variety of dynamical systems. A major disadvantage of such NN solvers can be the amount of computational resources needed to achieve accuracy comparable to existing numerical solvers. We present new strategies for existing dynamical system NN DE solvers, making efficient use of the extit{learnt} information, to speed up their training process, while still pursuing a completely unsupervised approach. We establish a fundamental connection between NN theory and dynamical systems theory via Koopman Operator Theory (KOT), by showing that the usual training processes for Neural Nets are fertile ground for identifying multiple Koopman operators of interest. We end by illuminating certain applications that KOT might have for NNs in general.

研究の動機と目的

• 力学系のためのニューラルネットワークスolverの学習にかかる高コストを低減しつつ、精度を維持すること。
• ニューラルネットワーク学習とKoopman作用素理論（KOT）の根本的関係を確立すること。
• Koopmanスペクトル情報の活用により、誤差補正と収束加速を実現し、効率的で自己教師ありのNN学習を可能にすること。
• Koopmanベースの学習戦略が、計算効率の観点で、標準的な勾配ベース手法を上回ることを実証すること。
• Koopmanモードおよび固有関数を、ニューラルネットワークベースの力学系スolverにおける予測誤差の同定と補正に用いる方法を検討すること。

提案手法

• ニューラルネットワークの重みと損失関数の進化を、拡張空間における線形力学系としてモデル化するKoopman作用素理論（KOT）を用いる。
• データからKoopman固有関数および固有値を同定し、損失および重み更新のダイナミクスを近似する。これにより、スペクトルに基づく最適化が可能になる。
• 学習ダイナミクスを支配する主要モードを抽出するために、Koopmanモード分解（KMD）を適用し、反復的勾配更新への依存度を低減する。
• 残差誤差をKoopmanモード展開としてモデル化することで、Koopmanベースの誤差補正を損失関数に統合する。
• 中間計算オーバーヘッドを最小限に抑えるために、データ駆動型Koopman作用素近似（$\hat{U}$）を従来の誤差逆伝播とは入れ替えたり補完したりする。
• Koopman作用素の構造を活用し、元のNNスolverと同様に、非因果的かつ並列な損失項評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Koopman作用素理論を用いて、力学系のためのニューラルネットワークの学習ダイナミクスをモデル化・高速化できるか？
• RQ2 Koopman作用素からのスペクトル的情報は、自己教師ありのニューラルネットワーク学習における収束性向上と計算コスト低減にどのように寄与するか？
• RQ3 Koopmanモードおよび固有関数を用いて、力学系のニューラルネットワーク予測における誤差を予測・補正できる範囲はどの程度か？
• RQ4 データ駆動型Koopman作用素は、ニューラルネットワークスローバーの学習における標準的勾配降下法を置き換えたり強化したりできるか？
• RQ5 Koopman作用素のダイナミクスと、ニューラルネットワーク重みおよび損失関数の収束挙動との関係は何か？

主な発見

• 力学系のためのニューラルネットワークの学習プロセスは、Koopman力学系としてモデル化可能であり、学習ダイナミクスのスペクトル解析が可能になる。
• Koopman固有関数および固有モードを用いることで、損失および重みの進化を近似でき、反復的勾配更新への依存度が低下する。
• データ駆動型Koopman作用素近似により、行列積と同等の計算複雑性を有する効率的で自己教師ありの学習が可能になり、高価な微分計算を回避できる。
• 損失項の並列評価が可能になり、逐次的依存性が排除され、学習が加速される。
• Koopmanベースの誤差補正により、予測精度が向上し、特に勾配降下が遅くなる後期収束段階で訓練時間が短縮される。
• フレームワークにより、Koopman作用素が損失空間および重み空間における極限点や不変構造を同定でき、学習安定性に関するより深い洞察が得られることが明らかになった。