[論文レビュー] A Robust SINDy Approach by Combining Neural Networks and an Integral Form

Ali Forootani, Pawan Goyal+1 more|arXiv (Cornell University)|Sep 13, 2023

Control Systems and Identification被引用数 4

ひとこと要約

本稿では、ノイズが多く、データが限られた状況下で非線形の支配方程式を発見するための頑健な手法iNeural-SINDyを提案する。この手法は、ノイズ除去と自動微分による導出推定に深層ニューラルネットワークを組み合わせ、微分方程式の積分形を用いて安定性を向上させることで、DeePyMoD や Weak-SINDy といった既存手法を著しく上回る。特に高ノイズおよび低データレジームにおいて顕著な優位性を示す。

ABSTRACT

The discovery of governing equations from data has been an active field of research for decades. One widely used methodology for this purpose is sparse regression for nonlinear dynamics, known as SINDy. Despite several attempts, noisy and scarce data still pose a severe challenge to the success of the SINDy approach. In this work, we discuss a robust method to discover nonlinear governing equations from noisy and scarce data. To do this, we make use of neural networks to learn an implicit representation based on measurement data so that not only it produces the output in the vicinity of the measurements but also the time-evolution of output can be described by a dynamical system. Additionally, we learn such a dynamic system in the spirit of the SINDy framework. Leveraging the implicit representation using neural networks, we obtain the derivative information -- required for SINDy -- using an automatic differentiation tool. To enhance the robustness of our methodology, we further incorporate an integral condition on the output of the implicit networks. Furthermore, we extend our methodology to handle data collected from multiple initial conditions. We demonstrate the efficiency of the proposed methodology to discover governing equations under noisy and scarce data regimes by means of several examples and compare its performance with existing methods.

研究の動機と目的

• 非線形力学系における時系列データのノイズが多く、かつ限られた状況下で正確な支配方程式を発見する課題に対処すること。
• 従来のSINDy手法が信号対ノイズ比が低い状況下で導出推定誤差に敏感であるのを克服すること。
• 深層ニューラルネットワークを活用してクリーンな動的挙動を暗黙的に表現し、頑健なスパース回帰を可能にするデータ駆動型フレームワークを開発すること。
• より豊かな力学系同定を可能にするために、複数の初期条件からのデータを処理できるように手法を拡張すること。
• 微分方程式の積分形を組み込むことで、ノイズの多い導出に依存するのを低減し、頑健性を向上させること。

提案手法

• 観測データの暗黙的かつノイズ除去された表現を学習するために深層ニューラルネットワーク（DNN）を訓練し、滑らかで正確な時系列再構成を可能にする。
• 訓練済みDNNに対して自動微分を適用し、元のノイズの多いデータの数値微分に依存せずに導出推定値を算出する。
• DNNで推定された導出値と非線形基底関数の広い辞書を用いて、SINDyフレームワークにおけるスパース同定問題を定式化する。
• スパース回帰プロセスの安定性を高め、ノイズへの感受性を低減するために、支配方程式の積分形を組み込む。
• 異なる初期条件から得られたデータを同時に学習できるようにDNNを共同で訓練することで、マルチトラジェクトリ学習を可能にする。
• データ適合性と積分制約の損失項のバランスを取るためにスケーリング係数 α を導入し、最適化の安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークに基づく暗黙的表現は、高ノイズおよび限られたデータの状況下でSINDyの頑健性を向上させることができるか？
• RQ2 微分方程式の積分形を統合することで、標準的なSINDyと比較して、支配方程式発見の精度と安定性がどの程度向上するか？
• RQ3 ノイズが多く、データが限られた状況下で、最先端の代替手法（DeePyMoD や Weak-SINDy）と比較して、提案手法iNeural-SINDyはどの程度優れているか？
• RQ4 スケーリング係数 α の選択が、さまざまなノイズレベルとデータの疎らさにおいて、本手法の性能にどのように影響を与えるか？
• RQ5 本フレームワークは、異なる初期条件を持つ複数の軌道から、支配方程式を効果的に学習できるか？

主な発見

• Lorenz系において、Scene_A および Scene_B の両設定下で、ノイズレベルとサンプルサイズが多様な状況下で、iNeural-SINDy はDeePyMoDを一貫して上回る性能を発揮した。
• 高ノイズレベル（σ = 0.1）の状況下で、iNeural-SINDy はWeak-SINDyと比較して、真の支配方程式の回復が著しく優れており、優れた頑健性を示した。
• 積分形の使用とニューラルネットワークベースの導出推定を組み合わせることで、導出推定が信頼性の低い状況下でもノイズへの感受性が低減された。
• データ密度が低い状況下でも、iNeural-SINDy は高い精度を維持しており、測定値が限られた状況下でも優れた一般化能力を示した。
• スケーリング係数 α には微妙な影響があるが、α = 0.1 は特に深層ネットワークにおいて性能向上をもたらす傾向にあり、損失関数の最適化に寄与する可能性がある。
• 本手法は、システムの構造に関する事前知識がなくても、複数の初期条件からのデータから支配方程式を効果的に同定でき、全システムの動的挙動を発見するのに成功した。