[論文レビュー] Interpretable learning of effective dynamics for multiscale systems

Emmanuel Menier, Sebastian Kaltenbach+3 more|arXiv (Cornell University)|Sep 11, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

本論文は、Mori-Zwanzig理論とKoopman作用素理論をニューラルネットワークを用いた次元削減と組み合わせることで、マルチスケール系における有効な力学を学習する解釈可能なフレームワークiLEDを提案する。ブラックボックスLSTMの代わりに物理的根拠を持つ線形力学と非線形補正項を採用し、3つのベンチマークマルチスケール系において最先端の精度を達成するとともに、完全な解釈可能性を実現する。

ABSTRACT

The modeling and simulation of high-dimensional multiscale systems is a critical challenge across all areas of science and engineering. It is broadly believed that even with today's computer advances resolving all spatiotemporal scales described by the governing equations remains a remote target. This realization has prompted intense efforts to develop model order reduction techniques. In recent years, techniques based on deep recurrent neural networks have produced promising results for the modeling and simulation of complex spatiotemporal systems and offer large flexibility in model development as they can incorporate experimental and computational data. However, neural networks lack interpretability, which limits their utility and generalizability across complex systems. Here we propose a novel framework of Interpretable Learning Effective Dynamics (iLED) that offers comparable accuracy to state-of-the-art recurrent neural network-based approaches while providing the added benefit of interpretability. The iLED framework is motivated by Mori-Zwanzig and Koopman operator theory, which justifies the choice of the specific architecture. We demonstrate the effectiveness of the proposed framework in simulations of three benchmark multiscale systems. Our results show that the iLED framework can generate accurate predictions and obtain interpretable dynamics, making it a promising approach for solving high-dimensional multiscale systems.

研究の動機と目的

• すべての空間的・時間的スケールを解像するのには計算的に不切実な高次元マルチスケール系のシミュレーションという、重要な課題に取り組む。
• LSTMを用いる最新の深層学習ベースのモデル順序低減手法に見られる解釈不能性の欠如を克服する。
• 理論的根拠に基づいた力学的モデルを用いて、高い予測精度を維持しながら物理的に解釈可能な力学を提供するフレームワークを開発する。
• 学習された力学に物理的原理を組み込むことで、複雑系のシミュレーションにおける一般化可能性と信頼性を高める。
• Kuramoto-Sivashinsky方程式や異なるレイノルズ数における円柱周りの流れを含む、多様なマルチスケール系において、フレームワークの有効性を実証する。

提案手法

• 高次元系の支配的力学を捉える低次元の非線形多様体を特定するために、ニューラルオートエンコーダーを用いる。
• 従来のLearning Effective Dynamics (LED)フレームワークで用いられる標準的なLSTMの代わりに、Koopman作用素とMori-Zwanzig形式主義に基づく物理的根拠を持つ力学的モデルを採用する。
• 線形成分を歪対称行列に加え対角減衰項（Aθ = W − Wᵀ − diag(w), w ∈ ℝ₊ᵈₕ）で表すことで、エネルギー保存的かつ安定した進化を保証する。
• 未解決スケール間の相互作用を補うために、深層ニューラルネットワーク（Ψ₂）による非線形補正項を組み込むことで、線形力学を上回る精度を実現する。
• オートエンコーダーおよび力学ネットワークにおいて、SiLU活性化関数とバッチ正規化を用い、学習の安定化と一般化性能の向上を図る。
• 特にバッチサイズが小さい状況でも安定性と解釈可能性を維持するため、潜在空間の中心化を専用の損失項（ℒ_centering）で強制する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのモデル順序低減フレームワークは、ブラックボックスLSTMと同等の精度を達成しつつ、完全な解釈可能性を提供できるか？
• RQ2 Mori-Zwanzig理論とKoopman作用素理論は、マルチスケール系に適用可能な理論的根拠に基づいた解釈可能な力学的モデルを構築するために、どの程度活用可能か？
• RQ3 物理的根拠を持つ非線形補正項を含めることで、純粋な線形潜在力学に比べて予測精度がどの程度向上するか？
• RQ4 iLEDフレームワークは、複雑性やスケール分離度が異なる多様なマルチスケール系においても、高い精度と解釈可能性を維持できるか？
• RQ5 潜在空間の中心化とアーキテクチャの選択が、学習された力学の安定性と性能に与える影響は何か？

主な発見

• iLEDフレームワークは、Kuramoto-Sivashinsky（KS）方程式において、LSTMベースのLEDモデルと同等またはそれを上回る最先端の予測精度を達成した。
• Re=100およびRe=750の円柱周りの流れにおいて、それぞれdₕ=3およびdₕ=16の潜在次元を用いて、複雑な空間的・時間的力学を正確に捉えた。
• 歪対称行列に対角減衰項（Aθ）を用いることで、潜在力学の安定的かつエネルギー保存的進化が保証され、長期予測の忠実性が実現された。
• 非線形補正項（Ψ₂）の導入により、特に強い非線形性を示す系において、線形のみの力学に比べてモデル精度が顕著に向上した。
• ℒ_centering損失は、潜在空間の中心化を効果的に維持し、線形力学部の安定性と解釈可能性にとって不可欠な役割を果たした。
• 明示的に線形進化と補正項をモデル化することで、フレームワークは解釈可能な力学を実現し、学習された系行動の直接的な物理的解釈を可能にした。