[論文レビュー] Discovery of Dynamics Using Linear Multistep Methods

Rachael T. Keller, Qiang Du|arXiv (Cornell University)|Dec 29, 2019

Model Reduction and Neural Networks参考文献 58被引用数 9

ひとこと要約

本稿は、離散的状態データから力学系を同定するための線形多段法（LMM）を用いるための新規な理論的枠組みを提示する。これは、通常の前向き積分とは対照的に、逆問題としてこの問題を扱うものである。本稿は、一貫性および安定性の新しい基準を確立し、アダムス＝バッシュフォース（M=1–6）、アダムス＝ムールトン（M=0,1）、および後退差分公式（すべてのM≥1）に対して収束性を証明する。一方、他のスキームは一般に収束しないことが示され、非線形振動子を用いた数値実験によって裏付けられている。

ABSTRACT

Linear multistep methods (LMMs) are popular time discretization techniques for the numerical solution of differential equations. Traditionally they are applied to solve for the state given the dynamics (the forward problem), but here we consider their application for learning the dynamics given the state (the inverse problem). This repurposing of LMMs is largely motivated by growing interest in data-driven modeling of dynamics, but the behavior and analysis of LMMs for discovery turn out to be significantly different from the well-known, existing theory for the forward problem. Assuming a highly idealized setting of being given the exact state with a zero residual of the discrete dynamics, we establish for the first time a rigorous framework based on refined notions of consistency and stability to yield convergence using LMMs for discovery. When applying these concepts to three popular $M-$step LMMs, the Adams-Bashforth, Adams-Moulton, and Backwards Differentiation Formula schemes, the new theory suggests that Adams-Bashforth for $M$ ranging from $1$ and $6$, Adams-Moulton for $M=0$ and $M=1$, and Backwards Differentiation Formula for all positive $M$ are convergent, and, otherwise, the methods are not convergent in general. In addition, we provide numerical experiments to both motivate and substantiate our theoretical analysis.

研究の動機と目的

• 離散的状態データからの力学系同定という逆問題に、線形多段法（LMM）を適用するための厳密な数値解析フレームワークを構築すること。
• 元来前向き時間積分を目的として開発された古典的LMM理論を、データ駆動型力学系同定の文脈へと拡張すること。
• 正確な状態と離散的力学系における残差がゼロであるという理想化された条件下で、どのLMMが収束するかを同定すること。
• ニューラルネットワークベースのLMM（例：アダムス＝ムールトン）において観察される不規則な挙動が、時間積分としての安定性があるにもかかわらず、なぜ発生するのかを説明すること。
• 将来的な研究の基盤を築くこと。具体的には、正則化、不完全データ、および物理的制約を組み込んだ学習を含む力学系同定分野における応用を想定する。

提案手法

• 古典的LMMの定式化を逆問題に適応：与えられた離散的状態から、時間離散化を用いて背後に隠れた力学系 f(x) を同定する。
• 逆問題の文脈に特化した一貫性および安定性の定義を洗練させ、前向き問題理論とは異なるものとする。
• 根条件および線形多段法の安定性解析を用いて、アダムス＝バッシュフォース、アダムス＝ムールトン、および後退差分公式（BDF）スキームの収束性を評価する。
• 理想化されたデータ適合性をモデル化するため、離散的力学系にゼロ残差条件を課すことにより、理論的収束解析を可能にする。
• 2次元の減衰する立方体振動子を用いた数値実験により、理論的予測の妥当性を検証し、収束の傾向を可視化する。
• 動的適合性、データ適合性、正則化を統合した一般化された損失関数を提案し、LMMの残差を主要な構成要素として含める。

実験結果

リサーチクエスチョン

• RQ1 正確な状態とゼロの残差という理想化された条件下で、どの線形多段法（LMM）がデータ駆動型力学系同定に用いられた際に収束するのか？
• RQ2 LMMの古典的安定性および一貫性基準が、時間積分としての用途とは対照的に、力学系同定の逆問題に適用された場合に、どのように異なるのか？
• RQ3 安定なLMM（例：アダムス＝ムールトン）が、ニューラルネットワークベースの同定において理論的安定性があるにもかかわらず、非収束的挙動を示すのはなぜか？
• RQ4 洗練された一貫性および安定性の概念を用いることで、力学系同定におけるLMMの収束性を厳密に確立できるか？
• RQ5 ニューラルネットワークの表現力および正則化は、LMMに基づく力学系同定を安定化または不安定化させる役割を果たすのか？

主な発見

• アダムス＝バッシュフォース法は、M=1から6の範囲で収束することが、理論的分析および数値実験により確認された。
• アダムス＝ムールトン法は、M=0およびM=1に限って収束するが、高次のバージョンは一般に本フレームワーク下で収束しない。
• 後退差分公式（BDF）法は、すべての正のMに対して収束する。これは、逆問題設定下での強い安定性および収束性を示している。
• 2次元の減衰する立方体振動子を用いた数値実験では、AB法およびBDF法が刻み幅hの減少およびMの増加に伴い収束する誤差の減少を示したが、AM法は不規則な挙動を示した。
• アダムス＝ムールトンネットワークにおける観察された不安定性は、ニューラルネットワークのアーキテクチャに起因するのではなく、逆同定文脈におけるその方法自体の本質的非収束性に起因する。
• 本研究は、力学系同定における収束性が、LMMの選択に極めて依存しており、前向き問題において安定であっても、一部の方法は収束しないことがあることを明らかにした。