[論文レビュー] Automatic Differentiation to Simultaneously Identify Nonlinear Dynamics and Extract Noise Probability Distributions from Data

Kadierdan Kaheman, Steven L. Brunton+1 more|arXiv (Cornell University)|Sep 12, 2020

Time Series Analysis and Forecasting被引用数 12

ひとこと要約

本論文は、自動微分を活用して同時になんらかのノイズ除去、スパース非線形力学の同定、ノイズ確率分布のパrameter化を実現する修正SINDyアルゴリズムを提案する—ノイズ耐性が最大40%まで向上し、ガンマ分布やレイリー分布といった非ガウス分布の正確な抽出も可能である。

ABSTRACT

The sparse identification of nonlinear dynamics (SINDy) is a regression framework for the discovery of parsimonious dynamic models and governing equations from time-series data. As with all system identification methods, noisy measurements compromise the accuracy and robustness of the model discovery procedure. In this work, we develop a variant of the SINDy algorithm that integrates automatic differentiation and recent time-stepping constrained motivated by Rudy et al. for simultaneously (i) denoising the data, (ii) learning and parametrizing the noise probability distribution, and (iii) identifying the underlying parsimonious dynamical system responsible for generating the time-series data. Thus within an integrated optimization framework, noise can be separated from signal, resulting in an architecture that is approximately twice as robust to noise as state-of-the-art methods, handling as much as 40% noise on a given time-series signal and explicitly parametrizing the noise probability distribution. We demonstrate this approach on several numerical examples, from Lotka-Volterra models to the spatio-temporal Lorenz 96 model. Further, we show the method can identify a diversity of probability distributions including Gaussian, uniform, Gamma, and Rayleigh.

研究の動機と目的

• スパース非線形力学の同定（SINDy）におけるノイズの多い時系列データがシステム同定の正確性と耐性に与える深刻な影響を是正すること。
• 信号とノイズを分離しつつ、同時に元の簡潔な力学モデルを学習する統一された最適化フレームワークの構築。
• 測定ノイズの確率分布（ガウス分布や非ゼロ平均の分布を含むガンマ分布やレイリー分布など）を明示的にパrameter化すること。
• 特に低データ量の状況や高ノイズ環境において、最先端手法を上回るノイズ耐性を向上させること。
• 既知の力学に関する事前知識を活用して欠落または損傷した項を同定できるように、不一致モデリングとの統合を可能とすること。

提案手法

• 時系列の微分係数の近似をニューラルネットワークベースの信号再構成を通じて自動微分で計算するSINDyフレームワークへの統合。
• Rudyら[1]のアイデアにインspiredされた時刻ステップ制約付き最適化フレームワークを採用し、数値積分（例：ルンゲ＝クッタ法）との整合性を保つことで、ノイズ除去と力学回復の両方を向上。
• SINDy回帰におけるスパース係数ベクトル（ξ）の最適化、信号再構成のためのニューラルネットワークパrameter、ノイズ分布パラメータ（ガウス分布のμ, σ²、ガンマ分布のk, θなど）を同時に最適化。
• 非凸な、信号・力学・ノイズ分布パラメータの3つを含む連合最適化問題を解くためにAdam最適化法を採用。
• スパース性を促進する正則化（ℓ₀近似）を用いて、簡潔なモデル発見を保証。また、収束性向上のため、標準SINDyからのウォームスタートをオプションとして提供。
• 制御入力を組み込むモジュラー拡張、有理力学（SINDy-PI経由）、変動時間ステップ数値解法を統合することで、大規模な基底関数セットでも安定性を向上。

実験結果

リサーチクエスチョン

• RQ1 自動微分を用いることで、一度の最適化フレームワーク内で同時にノイズ除去、力学同定、ノイズ分布のパラメータ化が可能になるか？
• RQ2 ノイズが非ガウス的または非ゼロ平均である場合でも、修正SINDy法は高いノイズ耐性を示すか？
• RQ3 部分的なモデル情報しか入手できない状況（例：不一致モデリング時）において、同定された力学を正確に回復できるか？
• RQ4 モデルの正確性と耐性の観点から、従来のノイズ除去およびシステム同定手法に比べて、どの程度優れているか？
• RQ5 ローレンツ-96のようなカオス的系やロトカ＝ヴォリエーラのような非線形振動子といった多様な力学系において、本手法はどの程度の性能を示すか？

主な発見

• 修正SINDy法は、最先端手法に比べて約2倍のノイズ耐性を達成し、時系列データに最大40%のノイズが含まれる状況でも正常に機能する。
• ガウス分布、一様分布、ガンマ分布、レイリー分布を含む多様なノイズ分布を正確に同定・パラメータ化でき、非ゼロ平均のノイズに対しても有効である。
• ロトカ＝ヴォリエーラ系では、40%のノイズが加わっても真の力学とノイズ分布パラメータを最小限のずれで正確に回復した。
• ローレンツ-96の空間的・時間的スケールの力学モデルでは、信号とノイズの分離が効果的に実現され、元の非線形力学の同定が正確に達成された。
• 不一致モデリングとの統合により、システムの一部に関する事前知識がある状況で、欠落した力学項の回復が可能となった。特に、追加の不一致項を含む修正ローレンツ系の事例でその有効性が示された。
• 標準SINDyからのウォームスタートを組み合わせることで、安定性と収束性が向上したため、実用的スケーラビリティの向上が示唆された。