[論文レビュー] Parameter identifiability, parameter estimation and model prediction for differential equation models

Matthew J. Simpson, Ruth E. Baker|arXiv (Cornell University)|May 13, 2024

Fault Detection and Control Systems被引用数 6

ひとこと要約

本論文は、ODE、PDE、BVPモデルのパラメータ同定性を評価し、パラメータを推定し、予測の不確実性を伝播させるための尤度ベースの方法を提示する。GitHub にオープンソースの Julia コードを公開。

ABSTRACT

Interpreting data with mathematical models is an important aspect of real-world industrial and applied mathematical modeling. Often we are interested to understand the extent to which a particular set of data informs and constrains model parameters. This question is closely related to the concept of parameter identifiability, and in this article we present a series of computational exercises to introduce tools that can be used to assess parameter identifiability, estimate parameters and generate model predictions. Taking a likelihood-based approach, we show that very similar ideas and algorithms can be used to deal with a range of different mathematical modeling frameworks. The exercises and results presented in this article are supported by a suite of open access codes that can be accessed on GitHub.

研究の動機と目的

• 微分方程式モデルにおいて、データがどの程度モデルパラメータを制約しているかを評価するための尤度ベースの枠組みを紹介する。
• ODE、PDE、BVP の問題に対して、プロファイル尤度を用いたパラメータ推定と同定性分析を実証する。
• パラメータの不確実性が予測の不確実性へどのように伝播するかを、予測区間を通じて示す。
• 識別性が妥当でない場合、再パラメータ化の必要性がある可能性を強調する。

提案手法

• 観測データをモデル解のノイズ付き評価としてモデル化する尤度フレームワークを用いる（ガウスノイズまたは対数正規ノイズ）。
• 対数尤度をデータ点の和として計算し、パラメータ値をモデル解 T(t) または u(x,t) に結びつける。
• 数値最適化（Nelder–Mead を NLopt 経由）により最尤推定パラメータを推定する。
• 正規化された対数尤度と一変量のプロファイル尤度を構築して同定性を評価し、カイ二乗閾値に基づく概算95%信頼区間を計算する。
• 信頼区間からサンプルを取り、パラメータ不確実性を予測へ伝播させて予測区間を作成する。
• これらの手順を、(i) ODE のニュートンの冷却法、(ii) PDE の対流拡散モデル、(iii) 形質発生勾配の定常状態 BVP に適用し、同定性が損なわれる場合には再パラメータ化を含めて適用する。

Figure 1: Left panel: synthetic data (blue dots) showing observations $T^{\textrm{o}}(t)$ at $t=0,10,20,\ldots,100$ superimposed with the MLE solution (solid red) with $\hat{\theta}=(\hat{T_{a}},\hat{k})^{\mathsf{T}}=(25.386,0.053)^{\mathsf{T}}$ . Right panel: heat map of $\bar{\ell}(\theta\mid T^{\

実験結果

リサーチクエスチョン

• RQ1 特定のデータセットに対して、ODE・PDE・BVP モデルのパラメータはどの程度同定可能か。
• RQ2 パラメータの最尤推定値は何で、どの程度の信頼性を置けるか。
• RQ3 パラメータの不確実性はモデル予測の不確実性へどのように伝播するか。
• RQ4 直接パラメータが同定不能な場合、再パラメータ化で同定性を回復できるか。

主な発見

• ODE の冷却モデルでは、MLE は θ̂ = (Tâ, k̂) = (25.386, 0.053) であり、95%CI は Ta ∈ [16.977, 32.983], k ∈ [0.0432, 0.0648]。
• Ta および k の一変量プロファイル尤度は、ODE の例で単峰の同定性を示す。
• パラメータが4つのパラメータ（u0, h, D, v）を持つ PDE の対流拡散モデルでは、すべてのパラメータが実質的に同定可能であり、プロファイル尤度は明確なピークと 95%CI を示す：u0 ∈ [0.839, 1.156], h ∈ [42.939, 58.043], D ∈ [6.227, 13.686], v ∈ [0.990, 1.060]。
• PDE に対して乗法的対数正規ノイズモデルを使用すると、非負の予測区間と、加法的ガウスノイズと比較してより物理的整合性が得られる。
• 単純な BVP の例では、パラメータ (J, D, k) は J/√(kD) および √(k/D) に依存する構造のため同定不能であり、α = J/√(kD) および β = √(k/D) の再パラメータ化により同定可能な量 α と β が得られ、それぞれのプロファイル尤度を持つ。
• 本論文は、元のパラメータ化が同定不能であっても再パラメータ化によって同定性を回復できることを示し、予測区間はパラメータとノイズの不確実性の組み合わせを反映するよう構築できることを示している。
• 各例を通じて、点推定と不確実性の定量化の両方を提供し、複製のための GitHub にオープンソースの Julia コードが公開されている。

Figure 2: Left panel: Univariate profile likelihood functions for $T_{a}$ and $k$ , as indicated (solid red). Each profile indicates the MLE (solid blue) and the $95\%$ threshold $\bar{\ell}^{*}=-\Delta_{0.95,1}/2\approx-1.921$ contour (solid gold). The 95% confidence intervals are $T_{a}\in[16.977,