[論文レビュー] The Discovery of Dynamics via Linear Multistep Methods and Deep Learning: Error Estimation

Qiang Du, Yiqi Gu+2 more|arXiv (Cornell University)|Mar 21, 2021

Model Reduction and Neural Networks参考文献 54被引用数 4

ひとこと要約

本稿は、動的システムを同定するための深層学習ベースの線形 multistep 法（LMM）に対して、きめ細やかな収束解析を提示している。ℓ²グリッド誤差がO(h^p)に加えてネットワーク近似誤差で抑えられることを確立しており、hは時間刻みでpは局所的切り捨て次数である。ローレンツ方程式のような系における数値実験により、高次の精度が裏付けられている。

ABSTRACT

Identifying hidden dynamics from observed data is a significant and challenging task in a wide range of applications. Recently, the combination of linear multistep methods (LMMs) and deep learning has been successfully employed to discover dynamics, whereas a complete convergence analysis of this approach is still under development. In this work, we consider the deep network-based LMMs for the discovery of dynamics. We put forward error estimates for these methods using the approximation property of deep networks. It indicates, for certain families of LMMs, that the $\ell^2$ grid error is bounded by the sum of $O(h^p)$ and the network approximation error, where $h$ is the time step size and $p$ is the local truncation error order. Numerical results of several physically relevant examples are provided to demonstrate our theory.

研究の動機と目的

• データ駆動型の動的システム同定における深層ネットワークベースの線形 multistep 法（LMM）の理論的収束フレームワークを構築すること。
• 時間刻みサイズhとネットワーク近似誤差に依存するℓ²グリッド誤差を定量化すること。
• LMM行列の条件数がh → 0の際に一様に有界であるような条件を確立すること。
• ベンチマーク動的システムにおける数値実験を通じて理論的誤差推定を検証すること。
• LMM定式化において補助的条件が省かれた場合に、深層学習における暗黙の正則化の役割を調査すること。

提案手法

• LMM離散化からの残差誤差の最小二乗最小化として動的システムの同定を定式化する。
• 未知のベクトル場の近似に深層ニューラルネットワークをアンザッツ空間として用いる。
• 深層ネットワークの近似特性とLMMスキームの安定性を用いて誤差境界を導出する。
• hに依存しない一様有界性を保証するため、システム行列A_hの2-ノルム条件数を分析する。
• LMMの根条件を用いて安定性と条件数の有界性を保証する。
• A-BおよびBDFスキームを用いた数値実験により、理論的収束率を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークベースのLMMの動的システム同定における収束速度は、時間刻みhに関してどのように変化するか？
• RQ2 ネットワーク近似誤差とLMMの局所的切り捨て誤差が、全体のℓ²グリッド誤差にどのように作用するか？
• RQ3 h → 0のとき、LMMシステム行列の条件数が一様に有界であるための条件は何か？
• RQ4 LMMに基づく同定において補助的条件が省かれた場合に、勾配降下法を用いた深層学習が依然として正確な解をもたらすか？
• RQ5 理論的誤差境界は、ローレンツ系のような実世界の動的システムにおける実効的性能とどのように一致するか？

主な発見

• 学習された動的システムのℓ²グリッド誤差は、O(κ₂(A_h)(h^p + e_𝒜))で抑えられ、ここでpは局所的切り捨て次数、e_𝒜はネットワーク近似誤差である。
• 安定なLMMに対しては、h → 0のとき条件数κ₂(A_h)が一様に有界であり、数値的安定性が保証される。
• 数値結果により、A-BおよびBDFスキームにおいて複数のテストケースで理論的O(h^p)に近い収束率が確認された。
• 2次元テスト問題では、領域Ω全域で誤差がO(10⁻³)未満に保たれており、学習済みネットワークの高精度を示している。
• 補助的条件がなくても、勾配降下法と深層ネットワークを用いることで、安定スキームと同等の誤差水準が達成されており、強力な暗黙の正則化の存在を示唆している。
• サンプルされたグリッド点以外の一般化誤差は理論的には有界でないが、数値結果では優れた外部一般化性能を示している。