[論文レビュー] PROSE: Predicting Operators and Symbolic Expressions using Multimodal Transformers

Yuxuan Liu, Zecheng Zhang+1 more|arXiv (Cornell University)|Sep 28, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

PROSEは、パラメトリックな常微分方程式（ODE）のデータから、同時に解の予測と支配的な記号的方程式の発見を行うマルチモーダルトランスフォーマーフレームワークを提案する。数値データと記号的式を統合することで、複数のODEファミリーにわたる1つのオペレーターネットワークを学習し、解の予測（相対誤差3.29%）と記号的回復（式誤差0.36%）の両方で高い精度を達成するとともに、分布外データへの一般化性能とノイズおよびモデル誤差に対するロバスト性を示す。

ABSTRACT

Approximating nonlinear differential equations using a neural network provides a robust and efficient tool for various scientific computing tasks, including real-time predictions, inverse problems, optimal controls, and surrogate modeling. Previous works have focused on embedding dynamical systems into networks through two approaches: learning a single solution operator (i.e., the mapping from input parametrized functions to solutions) or learning the governing system of equations (i.e., the constitutive model relative to the state variables). Both of these approaches yield different representations for the same underlying data or function. Additionally, observing that families of differential equations often share key characteristics, we seek one network representation across a wide range of equations. Our method, called Predicting Operators and Symbolic Expressions (PROSE), learns maps from multimodal inputs to multimodal outputs, capable of generating both numerical predictions and mathematical equations. By using a transformer structure and a feature fusion approach, our network can simultaneously embed sets of solution operators for various parametric differential equations using a single trained network. Detailed experiments demonstrate that the network benefits from its multimodal nature, resulting in improved prediction accuracy and better generalization. The network is shown to be able to handle noise in the data and errors in the symbolic representation, including noisy numerical values, model misspecification, and erroneous addition or deletion of terms. PROSE provides a new neural network framework for differential equations which allows for more flexibility and generality in learning operators and governing equations from data.

研究の動機と目的

• 複数のパラメトリックODEにわたるデータから、解のオペレーターと記号的支配方程式を統合的に学習する深層学習フレームワークの構築。
• 個々のODEごとに別々に訓練を要する従来のオペレーターラーニング手法の限界を克服し、方程式ファミリー間での一般化を可能にする。
• 1つのマルチモーダルニューラルネットワークを用いて、数値的解と記号的式の両方を同時に予測する仕組みの実現。
• ノイズ、モデルの誤設定、データ内の誤った記号的項への一般化性能とロバスト性の向上。
• 分布外予測と記号的モデル発見が可能な柔軟で転送可能なアーキテクチャの構築。

提案手法

• マルチモーダルトランスフォーマーのアーキテクチャを採用し、時系列の数値データと記号的式の両方を入力モダリティとして処理する。
• データと記号的表現間のクロスモダリティアテンションを可能にするため、特徴統合層を導入し、共有表現学習を実現する。
• エンドツーエンドで訓練され、クエリ時の時刻における解軌道の予測と同時に、支配的ODEの記号的形の生成を実行する。
• N個の異なるODEにわたる共有表現を学習するためのマルチオペレーター学習目的関数を採用し、未観測のODEへの一般化を可能にする。
• 条件付きシーケンス生成ヘッドを用いて記号的生成を実施し、正しい構文と構造を持つ数学的に妥当なODEを生成する。
• 解の予測にはL2損失、記号的式の生成には交差エントロピー損失を組み合わせてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、パラメトリックODEの解軌道とその支配的記号的方程式を同時に予測・発見できるか？
• RQ2 データと記号的式のマルチモーダル統合は、単一モーダルモデルと比較して、予測精度と一般化性能をどのように向上させるか？
• RQ3 訓練中に見られなかった新しいODEに対して、モデルはどの程度一般化できるか、特にノイズや汚染された入力下でも？
• RQ4 係数や項が摂動または欠落している状況でも、真の記号的ODE形式の回復はどの程度有効にできるか？
• RQ5 モデルが生成する記号的式は、予測を超えて、保存量や対称性の特定といった科学的洞察を提供できるか？

主な発見

• PROSEモデルは、'Unknown (3D)'テストセットで相対予測誤差3.29%を達成し、解の予測精度が非常に高いことを示した。
• 記号的式誤差はわずか0.36%にとどまり、ノイズや汚染された入力下でも真の支配的方程式の回復精度が極めて高いことが示された。
• 入力センサ数を減少させても高い性能を維持しており、記号的モダリティがデータ予測を強化する重要な情報を供給していることが確認された。
• 分布外ODEへの一般化において、記号的式回復精度が97.89%を超えることを示した。
• アテンションマップから、非自明なクロスモダリティ相互作用が確認され、データと記号的表現の統合に有効な特徴統合の有効性が裏付けられた。
• 生成された記号的式は数学的に妥当な関数であり、代替のシミュレーションベースの予測と科学的解釈が可能である。