[論文レビュー] Variational Autoencoders for Learning Nonlinear Dynamics of Physical Systems

Ryan Lopez, Paul J. Atzberger|arXiv (Cornell University)|Dec 7, 2020

Model Reduction and Neural Networks参考文献 61被引用数 14

ひとこと要約

本稿では、バーガース方程式や制約付き力学系などの非線形物理系の低次元で解釈可能な表現を学習するために、幾何学的およびトポロジカルな事前知識を組み込んだ変分オートエンコーダ（VAE）フレームワークを提案する。ユークリッドな潜在空間と比較して、トーラスやクラインのボーラーなどの多様体上に潜在空間を埋め込むことで、特にノイズのある学習データ下でも再構成精度、一般化性能、ノイズ耐性が向上する。

ABSTRACT

We develop data-driven methods for incorporating physical information for priors to learn parsimonious representations of nonlinear systems arising from parameterized PDEs and mechanics. Our approach is based on Variational Autoencoders (VAEs) for learning from observations nonlinear state space models. We develop ways to incorporate geometric and topological priors through general manifold latent space representations. We investigate the performance of our methods for learning low dimensional representations for the nonlinear Burgers equation and constrained mechanical systems.

研究の動機と目的

• 非線形力学系の潜在空間表現に、滑らかさ、周期性、トポロジーといった物理的事前知識（平滑性、周期性、トポロジー）を組み込むデータ駆動型手法の開発を目的とする。
• 物理系の高次元観測から、安定で一般化可能で解釈可能な低次元モデルを学習するという課題に取り組む。
• 系の固有の対称性や制約を反映する多様体（例：トーラス、クラインのボーラー）に潜在空間を埋め込むことで、長期予測性能と耐障害性を向上させる。
• 幾何学的およびトポロジカルな事前知識をVAEに組み込むことで、標準的なユークリッドな潜在空間と比較して再構成精度とノイズ耐性が向上することを示す。

提案手法

• 本手法は、物理系の時系列観測から非線形状態空間モデルを学習するための確率的エンコーダおよびデコーダを備えた変分オートエンコーダ（VAE）フレームワークを採用する。
• 潜在空間は、符号化されたベクトルを目的の多様体上に最も近い点に写像する微分可能写像 $\Lambda(\mathbf{w})$ を用いて、$S^1 \times S^1$（トーラス）やクラインのボーラーなどの多様体に制約される。
• 学習目的関数は、再構成損失 ($\mathcal{L}_{RE}$)、KLダイバージェンス正則化 ($\mathcal{L}_{KL}$)、多様体正則化項 ($\mathcal{L}_{RR}$) の3つの成分からなる、下界の期待値（ELBO）を用いる。
• エンコーダおよびデコーダネットワークは、Leaky-ReLU活性化関数を用いた深層ニューラルネットワークであり、(in)-100-500-100-(out) のレイヤー構成をとる。最大尤度推定法を用い、ELBOに基づいて学習される。
• 多様体制約のため、バックプロパゲーションを可能にするために、多様体（例：トーラスやクラインのボーラー）への数値的射影による勾配を計算する。
• 本フレームワークは、パラメータ化されたPDE（例：バーガース方程式）および制約付き力学系（例：固定長の2次元アーム）に適用され、潜在空間の幾何構造が物理的制約を反映している。

実験結果

リサーチクエスチョン

• RQ1 多様体構造を持つ潜在空間を有するVAEは、標準的なユークリッドな潜在空間と比較して、非線形物理的力学系のより頑健で一般化可能な表現を学習できるか？
• RQ2 幾何学的およびトポロジカルな事前知識（例：周期性、対称性）は、力学系の学習における再構成精度とノイズ耐性をどのように向上させるか？
• RQ3 誤った潜在空間トポロジー（例：トーラスではなく $\mathbb{R}^2$ を使用）がモデル性能および一般化能力に与える影響は何か？
• RQ4 ノイズのある学習データ下で、多様体埋め込みVAEは標準VAEをどの程度上回るか？
• RQ5 潜在空間に物理的制約を統合することで、力学系における学習特徴の解釈可能性および分離性が向上するか？

主な発見

• 剛体制約を持つ2次元アーム機構に対してトーラス潜在空間を用いることで、$\mathbb{R}^4$ と比較して再構成精度が顕著に向上し、真の系のトポロジーと一致させる利点が示された。
• 誤ったトポロジー（例：$\mathbb{R}^2$）が使用された場合、再構成精度が著しく低下した。これは、誤った多様体仮定が学習を妨げる可能性があることを示している。
• ノイズのある学習データ（$\tilde{X} = X + \sigma\eta$）下では、多様体埋め込みVAEがユークリッドVAEを上回り、潜在表現の安定化を図るフィルタとして機能した。
• ユークリッド潜在空間の次元数が2を上回るようになると、再構成精度が低下した。これは、余分な次元による過学習のリスクを示している。
• 多様体正則化項 ($\mathcal{L}_{RR}$) は、特にノイズ下でも、より一貫性があり物理的に整合性のある潜在空間を学習するのを支援した。
• 多様体事前知識を組み込んだVAEは、長期予測タスクにおいて一般化性能と安定性が向上しており、予測外し能力の向上が示唆された。