[論文レビュー] Learning normal form autoencoders for data-driven discovery of universal,parameter-dependent governing equations

Manu Kalia, Steven L. Brunton+3 more|arXiv (Cornell University)|Jun 9, 2021

Model Reduction and Neural Networks参考文献 32被引用数 11

ひとこと要約

本稿では、高次元データから普遍的な正準形力学を抽出するための、低次元でパラメータに依存する座標変換を発見する深層学習フレームワーク、正準形オートエンコーダーを導入する。オートエンコーダーのアーキテクチャにより、ホップ、ピッチfork、サドルノードといった標準的な分岐構造を潜在空間に制約することで、パrametric不安定性やパターン形成挙動を捉える、シンプルで解釈可能なモデルのデータ駆動的同定を可能にする。

ABSTRACT

Complex systems manifest a small number of instabilities and bifurcations that are canonical in nature, resulting in universal pattern forming characteristics as a function of some parametric dependence. Such parametric instabilities are mathematically characterized by their universal un-foldings, or normal form dynamics, whereby a parsimonious model can be used to represent the dynamics. Although center manifold theory guarantees the existence of such low-dimensional normal forms, finding them has remained a long standing challenge. In this work, we introduce deep learning autoencoders to discover coordinate transformations that capture the underlying parametric dependence of a dynamical system in terms of its canonical normal form, allowing for a simple representation of the parametric dependence and bifurcation structure. The autoencoder constrains the latent variable to adhere to a given normal form, thus allowing it to learn the appropriate coordinate transformation. We demonstrate the method on a number of example problems, showing that it can capture a diverse set of normal forms associated with Hopf, pitchfork, transcritical and/or saddle node bifurcations. This method shows how normal forms can be leveraged as canonical and universal building blocks in deep learning approaches for model discovery and reduced-order modeling.

研究の動機と目的

• 高次元でパラメータに依存する系において、支配方程式の事前知識なしに低次元正準形力学を同定するという長年の課題に取り組む。
• 複雑な空間時間的データから、標準的な分岐構造（例：ホップ、ピッチフォルク）のデータ駆動的同定を可能にする。
• 高次元データを最小で解釈可能な潜在空間に写像する座標変換を学習する深層学習フレームワークを構築する。
• 物理的に解釈可能で、さまざまな系に普遍的に適用可能な、低次元のパrameter化された不安定性表現を提供する。
• 従来のモデル同定手法がパラメータ依存性や分岐における位相的変化を捉えられないという限界を克服する。

提案手法

• 高次元データ（例：流体シミュレーション）を低次元潜在空間に写像する深層オートエンコーダーを訓練し、その潜在空間が特定の正準形方程式に従うように制約する。
• 潜在空間アーキテクチャに、標準的な正準形（例：ホップのためのシュタウールト＝ランダウ、ピッチフォルクのための三次）の事前知識をインダクティブバイアスとして組み込む。
• PODに基づく動的係数をオートエンコーダー訓練の前に前処理するため、ランダム行列のSVDにより選択されたユニタリ行列Γを用いる線形変換を導入し、高次調波を保存することで再構成精度を向上させる。
• 空間モードと時間的係数をシミュレーションデータから抽出するため、特徴的直交分解（POD）を適用し、計算効率を高めるために次元を4モードに削減する。
• 元のデータの再構成精度と、潜在ダイナミクスが目的の正準形方程式に従うことを強制する損失関数を用いてオートエンコーダーを訓練する。
• 学習されたデコーダーと線形変換Γの逆変換を用いて、全状態解を再構成し、元のシステム挙動の正確な回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 深層オートエンコーダーは、高次元データからパラメータ依存系の下位にある正準形力学を明らかにする座標変換を学習できるか？
• RQ2 本手法は、システムの運動方程式を事前に知らない状態で、ホップ、ピッチフォルク、トランスクリティカル、サドルノードといった標準的な分岐構造をどれだけ正確に同定・表現できるか？
• RQ3 標準的なモデル同定手法と比較して、本手法は分岐におけるパrametric依存性や位相的変化をどれほど正確に保持できるか？
• RQ4 学習された潜在ダイナミクスは、普遍的な正準形を通じて解釈可能であると同時に、高い精度で全システム挙動を再構成できるか？
• RQ5 ユニタリ変換Γのような前処理ステップの影響は、学習された正準形表現の品質と再構成性能にどのように及ぶか？

主な発見

• 本手法は、支配方程式が未知の状態でも、高次元の流体シミュレーションデータから正しい正準形力学（例：ホップ分岐のためのシュタウールト＝ランダウ）を正確に同定・学習した。
• 潜在空間のダイナミクスは期待される正準形方程式に非常に近く、さまざまなパrameter値における理論的分岐挙動と再構成軌道が一致した。
• ユニタリ変換Γの使用により、POD係数内の高次調波が保存され、全状態解の回復精度が著しく向上した。
• オートエンコーダーは4つのPODモードのみを用いても、シミュレーション全体の正確な再構成を達成し、効果的な次元削減とモデル圧縮を示した。
• 本フレームワークは、分岐の前後で位相的に異なるパターンを、一貫したパrameter化されたモデルで一括して捉えた。これは、従来手法の主な限界を解消した。
• 本手法はホップ、ピッチフォルク、トランスクリティカル、サドルノードといった複数の分岐タイプに一般化可能であり、パrametric不安定性の発見ツールとしての普遍性を確認した。