[論文レビュー] Discovering Governing Equations from Partial Measurements with Deep Delay Autoencoders

Joseph Bakarji, Kathleen M. Champion+2 more|arXiv (Cornell University)|Jan 13, 2022

Model Reduction and Neural Networks被引用数 12

ひとこと要約

本稿では、時遅れ部分測定値からの座標変換を同時に学習し、SINDyを用いてスパースで解釈可能な支配方程式を同定する、ディープディレイオートエナフォーマーのフレームワークを提案する。Takensの埋め込み定理とカスタムオートエナフォーマーを活用することで、1つの観測変数から全動的挙動を再構築でき、ローレンツ、ロッシェル、およびロトカ＝ヴォルテラ系を成功裏に回復した。これは、カオス的水車実験の動画データからも可能であった。

ABSTRACT

A central challenge in data-driven model discovery is the presence of hidden, or latent, variables that are not directly measured but are dynamically important. Takens' theorem provides conditions for when it is possible to augment these partial measurements with time delayed information, resulting in an attractor that is diffeomorphic to that of the original full-state system. However, the coordinate transformation back to the original attractor is typically unknown, and learning the dynamics in the embedding space has remained an open challenge for decades. Here, we design a custom deep autoencoder network to learn a coordinate transformation from the delay embedded space into a new space where it is possible to represent the dynamics in a sparse, closed form. We demonstrate this approach on the Lorenz, Rössler, and Lotka-Volterra systems, learning dynamics from a single measurement variable. As a challenging example, we learn a Lorenz analogue from a single scalar variable extracted from a video of a chaotic waterwheel experiment. The resulting modeling framework combines deep learning to uncover effective coordinates and the sparse identification of nonlinear dynamics (SINDy) for interpretable modeling. Thus, we show that it is possible to simultaneously learn a closed-form model and the associated coordinate system for partially observed dynamics.

研究の動機と目的

• 部分測定値しか入手できない状況において、簡潔で閉形式の力学的モデルを発見する課題に対処すること。
• 座標変換が未知で複雑な遅延埋め込み空間における解釈可能な動的挙動の学習の難しさを克服すること。
• 限られた観測から有効な座標とスパースな非線形動的挙動を同時に学習する統合フレームワークの開発。
• 時間遅れ埋め込みとディープオートエナフォーマーを用いて、隠れ変数を有する系にSINDyに基づくモデル発見を拡張すること。
• 代表的なカオス的系および実世界の動画データ（ローレンツ水車実験を含む）に対して本手法を実証すること。

提案手法

• 本手法は、Takensの定理に基づき、1つの測定変数から微分同相的アトラクタを再構築するための時間遅れ埋め込みを用いる。
• ディープオートエナフォーマーを訓練し、遅れ埋め込み空間から、動的挙動がスパースで解釈可能となる新しい潜在空間への非線形座標変換を学習する。
• オートエナフォーマーとSINDyを同時に最適化することで、支配方程式のスパース性を強制し、学習された挙動が閉形式かつ簡潔であることを保証する。
• エンコーダーは遅れ埋め込み観測を低次元の潜在空間にマップし、デコーダーは元の測定値を再構築することで再構築誤差を最小化する。
• 潜在空間にSINDyを統合し、支配方程式を非線形基底関数のスパースな組み合わせとして同定する。
• 埋め込み次元や時間遅れなどのハイパーパrameterは、アトラクタの展開と分散の捉え具合に基づき、相互情報量やSVDを用いて選定される。

実験結果

リサーチクエスチョン

• RQ1 ディープオートエナフォーマーは、時間遅れ部分測定値からの座標変換を学習し、支配方程式のスパース同定を可能にするか？
• RQ2 1つの観測変数から、同時に解釈可能な動的挙動とその背後にある座標系を発見することは可能か？
• RQ3 限られた測定値とノイズを伴う実世界の動画データから、カオス的挙動をどの程度正確に再構築できるか？
• RQ4 オートエナフォーマーとSINDyを同時に最適化することで、逐次的手法に比べてモデルのスパース性と正確性が向上するか？
• RQ5 本フレームワークは、動画シーケンスから得られるような複雑で高次元の系にも一般化可能か？

主な発見

• 本手法は、1つの測定変数のみを用いても、ローレンツ、ロッシェル、およびロトカ＝ヴォルテラ系の支配方程式を成功裏に回復した。
• ローレンツ水車実験では、低フレームレートと測定ノイズにもかかわらず、同定された3次多項式モデルの係数が既知の動的挙動と一致した。
• 動画データからの再構築挙動は、元のローレンツアトラクタと一致する2つのローブ構造を示し、本手法の実世界データに対するロバストネスを裏付けた。
• SINDy制約なしのオートエナフォーマーはスパースモデルを生成できず、解釈可能性を確保するには共同最適化の必要性を示した。
• 最適な時間遅れ刻み $ n\tau \approx 0.1 $ が、埋め込み空間におけるアトラクタの展開を最も良くし、モデルの正確性を向上させた。
• ハンケル行列の最初の3つのSVDモードが大部分の分散を捉えており、オートエナフォーマーの潜在次元の選定を導くものとなった。