[論文レビュー] Hierarchical Inference and Closure Learning via Adaptive Surrogates for ODEs and PDEs

Pengyu Zhang, Arnaud Vadeboncoeur+2 more|arXiv (Cornell University)|Mar 4, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

この論文は、関連する複数のシステムにまたがるシステム固有パラメータを共同推論し、ニューラルネットワークを用いて共有非線形閉包を学習する階層ベイズ枠組みを開発し、二階層代理トレーニングとアンサンブルMALAサンプリングで加速する。

ABSTRACT

Inverse problems are the task of calibrating models to match data. They play a pivotal role in diverse engineering applications by allowing practitioners to align models with reality. In many applications, engineers and scientists do not have a complete picture of i) the detailed properties of a system (such as material properties, geometry, initial conditions, etc.); ii) the complete laws describing all dynamics at play (such as friction laws, complicated damping phenomena, and general nonlinear interactions). In this paper, we develop a principled methodology for leveraging data from collections of distinct yet related physical systems to jointly estimate the individual model parameters of each system, and learn the shared unknown dynamics in the form of an ML-based closure model. To robustly infer the unknown parameters for each system, we employ a hierarchical Bayesian framework, which allows for the joint inference of multiple systems and their population-level statistics. To learn the closures, we use a maximum marginal likelihood estimate of a neural network embeded within the ODE/PDE formulation of the problem. To realize this framework we utilize the ensemble Metropolis-Adjusted Langevin Algorithm (MALA) for stable and efficient sampling. To mitigate the computational bottleneck of repetitive forward evaluations in solving inverse problems, we introduce a bilevel optimization strategy to simultaneously train a surrogate forward model alongside the inference. Within this framework, we evaluate and compare distinct surrogate architectures, specifically Fourier Neural Operators (FNO) and parametric Physics-Informed Neural Network (PINNs).

研究の動機と目的

• データを用いて部分的に知られている物理モデルを複数の関連システムからのデータで標定する必要性を動機づける。
• 関連システムの母集団にまたがって、システム固有パラメータと共有非linear閉包関数を共同推定する。
• 階層ベイズ定式化を通じて不確かさの定量化を組み込む。
• 前方解の計算負荷を削減するための代理推定を用いた推論フレームワークを開発する。
• 代表的なODEおよびPDE問題を用いて手法の有効性を評価する。

提案手法

• ハイパーパラメータで条件づけられた母集団分布からシステム固有パラメータを抽出する階層ベイズフレームワークで逆問題を定式化する。
• 未知の非線形閉包をニューラルネットワーク f^{b1} で表現し、αでパラメータ化して周辺尤度最大化を通じて学習する。
• 複数の関連システムにまたがる階層後方分布をサンプルするためにアンサンブルMALAを用いる。
• 二階層最適化設定を導入し、 differentiable forward surrogate F^{eta} を逆問題と jointly 学習させて計算を加速する。
• 閉包学習とパラメータ推定間の情報伝搬を行うため、後方サンプリング（上位レベル）とサロゲート訓練（下位レベル）を交互に行う。
• FNO（Fourier Neural Operator）やPINN（Physics-Informed Neural Network）といったサロゲートアーキテクチャを前方解に適用可能とし、教師あり損失と物理ベースの残差損失を組み合わせて訓練する。

Figure 2: Overview of the proposed framework. The algorithm alternates between three main stages: (1) Hierarchical posterior sampling using ensemble MALA to update parameter chains, (2) Lower-level surrogate training optimizing the surrogate model $F^{\beta}$ parameterized by $\beta$ over $N$ iterat

実験結果

リサーチクエスチョン

• RQ1 複数の関連システムのシステム固有パラメータを共同で推定し、データから共有非線形閉包を学習するにはどうするべきか。
• RQ2 階層ベイズアプローチは物理系の母集団全体で安定性と転移学習を改善できるか。
• RQ3 代理モデルは閉包学習の精度を損なうことなく、ベイズ逆推定を加速できるか。
• RQ4 後方サンプリングと前方サロゲートの最適化を交互に行う効果的な訓練スキームは何か。
• RQ5 FNOとPINNはこの設定におけるODE/PDEの前方サロゲートとして有効か。

主な発見

• 階層ベイズの定式化により、複数のシステムパラメータと母集団レベルのハイパーパラメータを共同推定でき、ロバスト性と情報共有を向上させる。
• アンサンブルMALAと決定論的なニューラル閉包を用いた反復スキームは、K個のシステム全体で θ^{(k)} および φ の不確かさを考慮しつつ f^{b1} を学習する。
• 差分可能な前方サロゲートを備えた二階層最適化フレームワークは、ベイズサンプリング時の前方解コストを大幅に削減する。
• 本フレームワークはFNOとPINNの両方のサロゲートをサポートし、教師あり損失と物理ベースの損失を組み合わせて前方モデルを訓練する。
• 未知の閉包を持つ部分的に知られたダイナミカルシステムの標定に対する実用的な方法論を提供し、代表的なODEおよびPDEで有効性を示す。

Figure 3: Distribution of ground-truth physical parameters for $\mathbf{K=20}$ mass–damper systems in Experiment 1. Each system’s parameter vector $\boldsymbol{\theta}=\{\log(k),u_{0},v_{0}\}$ is sampled from the hierarchical prior with hyperparameters $\boldsymbol{\mu}_{\phi}=\{\log(5.0),0.0,2.0\}$