[論文レビュー] Data-driven learning of non-autonomous systems

Tong Qin, Zhe Chen+2 more|arXiv (Cornell University)|Jun 2, 2020

Model Reduction and Neural Networks参考文献 28被引用数 5

ひとこと要約

本論文は、時間依存入力を有する非自己同型力学系をデータ駆動で学習するフレームワークを提案する。時間区間ごとにシステムを分解し、局所的に入力をパラメータ化（例：多項式回帰）し、局所的パラメトリックモデル上で深層ニューラルネットワーク（DNN）を訓練する。訓練されたDNNにより、多様な入力に対して反復的かつ長期的なシステム予測が可能となり、線形／非線形ODEおよび不連続な源項を有するPDEに対しても高い精度を示す。訓練データを超えた範囲でも有効である。

ABSTRACT

We present a numerical framework for recovering unknown non-autonomous dynamical systems with time-dependent inputs. To circumvent the difficulty presented by the non-autonomous nature of the system, our method transforms the solution state into piecewise integration of the system over a discrete set of time instances. The time-dependent inputs are then locally parameterized by using a proper model, for example, polynomial regression, in the pieces determined by the time instances. This transforms the original system into a piecewise parametric system that is locally time invariant. We then design a deep neural network structure to learn the local models. Once the network model is constructed, it can be iteratively used over time to conduct global system prediction. We provide theoretical analysis of our algorithm and present a number of numerical examples to demonstrate the effectiveness of the method.

研究の動機と目的

• 既存のデータ駆動手法が要求する時間不変性を破る時間依存入力を有する非自己同型システムの学習という課題に対処すること。
• 現実のデータにおいてノイズに敏感な時間微分に依存しない手法を構築すること。
• 一度に訓練されたDNNモデルを用いて、新しい初期条件および外部入力に対しても一般かつ柔軟なシステム予測を可能にすること。
• やや弱い正則性仮定の下で、学習モデルの近似品質に関する理論的誤差境界を提供すること。
• 深層学習に基づくシステム同定を、偏微分方程式（PDE）も含む非自己同型システムに拡張すること。

提案手法

• 非自己同型システムを離散時間区間ごとの区分的積分の列に変換することで、時間依存性を局所化する。
• 各時間区間内で時間依存入力を局所的にパラメータ化（例：多項式回帰）し、局所的に時間不変なパラメトリックシステムを構築する。
• 自己同型およびパラメトリックシステムに拡張されたResNetに基づく学習を用いる、局所的パラメトリックフローマップを学習するDNNアーキテクチャを設計する。
• 元のシステムから生成された合成軌道データを用いてDNNを訓練し、状態と入力パラメータ化を入力とする。
• 訓練済みDNNを時間的に繰り返し適用することで、新たな初期条件および外部入力（同じ局所的基底で表現可能な場合）に対するシステムの進化を予測する。
• 元のシステムがリプシッツ連続性を満たすと仮定した下で、近似誤差の理論的境界を提示する。

実験結果

リサーチクエスチョン

• RQ1 状態データの時間微分を必要とせずに、データ駆動手法が非自己同型システムを学習可能か？
• RQ2 時間依存入力の非自己同型性をシステム同定の段階で効果的に扱う方法は何か？
• RQ3 局所的パラメトリックモデル上で訓練された深層ニューラルネットワークが、多様な入力に対して高精度な長期予測を可能にするか？
• RQ4 提案された学習フレームワークの理論的近似誤差境界は何か？
• RQ5 本手法は、時間変動する源項を有する複雑なシステム（例：PDE）へと拡張可能か？

主な発見

• 時間依存入力を有する非線形オシレーターに対して、T=100まで高精度な長期予測が達成され、参照解とよく一致した。
• 不連続な歯型源項を有するPDEに対して、DNNモデルの予測は時間的変化および空間的プロファイルの両面で参照解と優れた一致を示した。
• 訓練データに含まれない入力に対してもDNNモデルがシステム挙動を正しく予測し、汎化能力を示した。
• 入力関数に不連続性（例：歯型波）が存在しても精度が維持されたことから、非滑らかな入力に対してもロバストであることが示された。
• 理論的解析により、元のシステムがやや弱いリプシッツ連続性を満たす限り、近似誤差が有界であることが確認された。
• 線形および非線形ODE、20次元のPDE離散化を含む多様なシステムに対して、一貫した性能を示し、フレームワークの有効性が裏付けられた。