[논문 리뷰] Implementing measurement error models with mechanistic mathematical models in a likelihood-based framework for estimation, identifiability analysis, and prediction in the life sciences

Ryan J. Murphy, Oliver J. Maclaren외 1명|arXiv (Cornell University)|2023. 07. 04.

Gene Regulatory Network AnalysisBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 체계적 및 수학적 생물학의 기계적 미분방정식(OED) 및 편미분방정식(PDE) 모델에 다양한 측정 오차 모델—예를 들어 덧셈형 가우시안, 곱셈형 로그정규, 포아송 등—을 통합하기 위한 가능도 기반 프레임워크를 제시한다. 이는 프로파일 가능도 분석을 통해 다양한 오차 가정 하에서 강건한 모수 추정, 식별 가능성 평가 및 예측이 가능하게 하며, 재현 가능성을 위해 오픈소스 줄리아 코드를 제공한다.

ABSTRACT

Throughout the life sciences we routinely seek to interpret measurements and observations using parameterised mechanistic mathematical models. A fundamental and often overlooked choice in this approach involves relating the solution of a mathematical model with noisy and incomplete measurement data. This is often achieved by assuming that the data are noisy measurements of the solution of a deterministic mathematical model, and that measurement errors are additive and normally distributed. While this assumption of additive Gaussian noise is extremely common and simple to implement and interpret, it is often unjustified and can lead to poor parameter estimates and non-physical predictions. One way to overcome this challenge is to implement a different measurement error model. In this review, we demonstrate how to implement a range of measurement error models in a likelihood-based framework for estimation, identifiability analysis, and prediction, called Profile-Wise Analysis. This frequentist approach to uncertainty quantification for mechanistic models leverages the profile likelihood for targeting parameters and understanding their influence on predictions. Case studies, motivated by simple caricature models routinely used in systems biology and mathematical biology literature, illustrate how the same ideas apply to different types of mathematical models. Open-source Julia code to reproduce results is available on GitHub.

연구 동기 및 목표

• 생명과학 모델링에서 널리 퍼져 있지만 자주 정당화되지 않은 덧셈형 가우시안 측정 오차 모델의 사용 문제를 다루기 위해.
• 다른 측정 오차 모델(예: 곱셈형, 포아송)이 표준 덧셈형 가우시안 가정보다 더 정확하고 물리적으로 타당한 모수 추정 및 예측을 제공할 수 있음을 보여주기 위해.
• 다양한 측정 오차 모델을 통합하고 비교할 수 있는 실용적이고 통합된 프레임워크를 제공하기 위해.
• 다양한 오차 구조를 가진 기계적 모델에서 프로파일 가능도를 사용한 구조적 및 실용적 식별 가능성 분석을 가능하게 하기 위해.
• 모든 모델 구현 및 분석에 대해 오픈소스 줄리아 코드를 제공하여 재현 가능한 연구를 지원하기 위해.

제안 방법

• 기계적 ODE/PDE 모델의 해를 관측된 데이터와 연결하는 가능도 함수를 수립하며, 다양한 측정 오차 모델(덧셈형 가우시안, 곱셈형 로그정규, 포아송 등)을 적용한다.
• 줄리아의 Distributions 패키지에서 제공하는 로그가능도 함수를 사용하여 다양한 오차 가정 하에서 모델 적합도를 계산한다.
• 가능도를 최대화하고 모수를 추정하기 위해 수치 최적화(Nelder-Mead)를 적용한다.
• 모수의 실용적 식별 가능성 평가 및 신뢰구간 산출을 위해 프로파일 로그가능도 분석을 수행한다.
• 가능도 비율 검정 기반으로 근사적인 신뢰구간을 정의하기 위해 카이제곱 임계값을 사용한다.
• 줄리아의 DifferentialEquations.jl 패키지를 사용하여 ODE/PDE 시스템을 수치적으로 해결한다.

Figure 1: Implementing a variety of measurement error models in a profile likelihood-based framework for parameter estimation, identifiability analysis, and prediction. (a) Synthetic data (circles). (b) The framework is applicable to a range of mathematical models and measurement error models. Schem

실험 결과

연구 질문

• RQ1 기계적 생물학 시스템 모델에서 측정 오차 모델의 선택이 모수 추정 및 예측 정확도에 어떻게 영향을 미치는가?
• RQ2 곱셈형 로그정규 또는 포아송과 같은 대체 오차 모델이 표준 덧셈형 가우시안 가정보다 생물학적 변동성을 더 잘 포착할 수 있는가?
• RQ3 비정규 측정 오차 모델을 사용할 경우 프로파일 가능도가 실용적 식별 가능성 평가에 어떻게 활용될 수 있는가?
• RQ4 이산형 또는 이방성 오차 모델을 사용할 경우 체계생물학 적용 분야에서 계산적 및 통계적 영향은 무엇인가?
• RQ5 동일한 가능도 기반 프레임워크가 ODE, PDE 등 다양한 유형의 기계적 모델과 다양한 오차 구조로 일반화될 수 있는 정도는 어느 정도인가?

주요 결과

• 기본 데이터 생성 과정이 이 가정을 따르지 않을 경우 덧셈형 가우시안 오차 모델은 일반적으로 부적절한 모수 추정과 물리적으로 비합리적인 예측을 초래한다.
• 데이터에 이방성 또는 카운트 기반 특성이 있는 경우 곱셈형 로그정규 및 포아송 오차 모델이 더 적절한 피팅을 제공한다.
• 프로파일 가능도 분석은 복잡한 오차 구조 하에서도 비식별 가능한 모수를 성공적으로 식별하여 모델 신뢰도를 향상시킨다.
• 가능도 비율 기반 임계값을 통해 정확한 모수 신뢰구간을 산출할 수 있으며, 구체적인 값(예: 90%, 95%, 99%, 99.9% 구간에 대한 χ²(ν) 분位수)이 제공된다.
• 이 방법은 계산적으로 효율적이며 확장 가능하여 다양한 분포(예: 감마, 베타, 음이이항)와 오차 구조를 지원한다.
• 오픈소스 줄리아 코드는 깃허브에 공개되어 있어 프레임워크의 완전한 재현 및 새로운 생물학적 모델 및 오차 모델로의 확장이 가능하다.

Figure 2: Caricature ODE model with linear reactions (Eq ( 16 )). (a) Synthetic data (circles) at sixteen equally–spaced time points from $t=0.0$ to $t=2.0$ are generated by simulating Eq ( 16 ), the additive Gaussian measurement error model, known model parameters $\theta=(r_{1},r_{2},\sigma_{\math