[논문 리뷰] Parameter identifiability, parameter estimation and model prediction for differential equation models

Matthew J. Simpson, Ruth E. Baker|arXiv (Cornell University)|2024. 05. 13.

Fault Detection and Control Systems인용 수 6

한 줄 요약

이 논문은 ODE, PDE 및 BVP 모델에 대한 매개변수 식별 가능성 평가, 매개변수 추정 및 예측에서의 불확실성 전파를 위한 우도 기반 방법을 제시하며 GitHub의 오픈 소스 Julia 코드가 포함되어 있다.

ABSTRACT

Interpreting data with mathematical models is an important aspect of real-world industrial and applied mathematical modeling. Often we are interested to understand the extent to which a particular set of data informs and constrains model parameters. This question is closely related to the concept of parameter identifiability, and in this article we present a series of computational exercises to introduce tools that can be used to assess parameter identifiability, estimate parameters and generate model predictions. Taking a likelihood-based approach, we show that very similar ideas and algorithms can be used to deal with a range of different mathematical modeling frameworks. The exercises and results presented in this article are supported by a suite of open access codes that can be accessed on GitHub.

연구 동기 및 목표

• 미분 방정식 모델에서 데이터가 모델 매개변수를 얼마나 제약하는지 평가하기 위한 우도 기반 프레임워크를 도입한다.
• 프로파일 우도를 사용하여 ODE, PDE 및 BVP 문제에 대한 매개변수 추정 및 식별 가능성 분석을 시연한다.
• 매개변수 불확실성이 예측 구간을 통해 예측 불확실성으로 어떻게 전이되는지 보여준다.
• 식별 가능성 달성을 위해 재매개변성이 필요할 수 있는 문제와 노이즈 모델의 이슈를 강조한다.

제안 방법

• 관찰된 데이터를 모델 해의 노이즈가 추가된 평가로 모델링하는 우도 프레임워크를 사용한다(가우시안 또는 로그-정규 노이즈).
• 로그우도를 데이터 포인트의 합으로 계산하고 매개변수 값을 모델 해 T(t) 또는 u(x,t)와 연결한다.
• 수치 최적화(Nelder–Mead를 NLopt를 통해)로 최대우도 추정치를 계산한다.
• 정규화된 로그우도와 단변량 프로파일 우도를 구성하여 식별 가능성을 평가하고 카이제곱 임계값에 기반한 근사 95% 신뢰구간을 계산한다.
• 매개변수 불확실성을 예측으로 전파하기 위해 신뢰 구간에서 샘플링하여 예측 구간을 생성한다.
• 다음 단계들을 (i) ODE의 Newton의 냉각 법칙, (ii) PDE의 이동-확산 모델, (iii) 모핑겐 구배의 정적 BVP에 적용하되, 식별 가능성이 훼손될 경우 재매개변화를 포함한다.

Figure 1: Left panel: synthetic data (blue dots) showing observations $T^{\textrm{o}}(t)$ at $t=0,10,20,\ldots,100$ superimposed with the MLE solution (solid red) with $\hat{\theta}=(\hat{T_{a}},\hat{k})^{\mathsf{T}}=(25.386,0.053)^{\mathsf{T}}$ . Right panel: heat map of $\bar{\ell}(\theta\mid T^{\

실험 결과

연구 질문

• RQ1 특정 데이터 세트에 대해 ODE, PDE 및 BVP 모델의 매개변수들이 얼마나 식별 가능한가?
• RQ2 매개변수의 최대우도 추정치는 무엇이며, 이에 대한 신뢰도는 어느 정도인가?
• RQ3 매개변수 불확실성이 모델 예측의 불확실성으로 어떻게 전이되는가?
• RQ4 직접 매개변수가 식별 불가인 경우 재매개변화를 통해 식별 가능성을 회복할 수 있는가?

주요 결과

• ODE 냉각 모델의 경우 MLE는 θ̂ = (Tâ, k̂) = (25.386, 0.053)이며 95% CI는 Ta ∈ [16.977, 32.983], k ∈ [0.0432, 0.0648]이다.
• Ta와 k에 대한 단변량 프로파일 우도는 ODE 예제에서 단일 피크의 식별 가능성을 보인다.
• 네 매개변수(u0, h, D, v)를 가지는 PDE 이동-확산 모델의 경우 모든 매개변수가 실질적으로 식별 가능하며 프로파일 우도가 명확한 피크와 95% CI를 보인다: u0 ∈ [0.839, 1.156], h ∈ [42.939, 58.043], D ∈ [6.227, 13.686], v ∈ [0.990, 1.060].
• PDE에 대해 곱셈적 로그-정규 노이즈 모델을 사용하면 비음수 예측 구간과 물리적으로 더 일관된 결과를 얻고, 가우스성의 첨가 노이즈보다 나은 결과를 보인다.
• 간단한 BVP 예에서 매개변수( J, D, k )는 J/√(kD) 및 √(k/D) 의 구조 때문에 식별 가능하지 않다; α = J/√(kD), β = √(k/D)로 재매개변하면 α와 β의 식별 가능성이 회복되고 각각의 프로파일 우도도 얻어진다.
• 재매개변이가 원래 매개변수화가 식별 불가일 때 식별 가능성을 회복시킬 수 있으며, 예측 구간은 매개변수와 노이즈 불확실성의 결합을 반영하도록 구성될 수 있음을 논문에서 보여준다.
• 다양한 예에서 이 접근법은 점 추정치와 불확실성의 정량화를 모두 제공하며, 재현을 위한 오픈 소스 Julia 코드가 GitHub에 있다.

Figure 2: Left panel: Univariate profile likelihood functions for $T_{a}$ and $k$ , as indicated (solid red). Each profile indicates the MLE (solid blue) and the $95\%$ threshold $\bar{\ell}^{*}=-\Delta_{0.95,1}/2\approx-1.921$ contour (solid gold). The 95% confidence intervals are $T_{a}\in[16.977,