[논문 리뷰] Analysis of sloppiness in model simulations: unveiling parameter uncertainty when mathematical models are fitted to data

Gloria M. Monsalve-Bravo, Brodie Lawson외 8명|arXiv (Cornell University)|2022. 03. 29.

Spectroscopy and Quantum Chemical Studies참고 문헌 94인용 수 42

한 줄 요약

이 논문은 사전 지식과 데이터를 통합하여 모델의 뚜렷한 성향(스티프)을 분석하기 위한 베이지안 정보 기반 접근법을 제안한다. 이는 모델 출력에 크게 영향을 주는 핵심적인 매개변수 조합인 스틱 스펙트럼 매개변수를 식별한다. 차원 축소 기법(사후 공분산 및 가능도 정보 기반 부분공간)을 확장하여 데이터 기반 감도와 사전 지식 기반 감도를 구분함으로써, 시스템 생물학, 생태학, 심장 전기생리학 분야의 복잡한 모델에서 숨겨진 제어 메커니즘을 드러낸다.

ABSTRACT

This work introduces a comprehensive approach to assess the sensitivity of model outputs to changes in parameter values, constrained by the combination of prior beliefs and data. This novel approach identifies stiff parameter combinations strongly affecting the quality of the model-data fit while simultaneously revealing which of these key parameter combinations are informed primarily by the data or are also substantively influenced by the priors. We focus on the very common context in complex systems where the amount and quality of data are low compared to the number of model parameters to be collectively estimated, and showcase the benefits of this technique for applications in biochemistry, ecology, and cardiac electrophysiology. We also show how stiff parameter combinations, once identified, uncover controlling mechanisms underlying the system being modeled and inform which of the model parameters need to be prioritized in future experiments for improved parameter inference from collective model-data fitting.

연구 동기 및 목표

• 제한된 데이터에 적합된 복잡한 모델에서 고차원 매개변수 불확실성 문제를 해결하기 위해.
• 개별 매개변수의 모호성에도 불구하고 모델 출력을 지배하는 핵심적인 매개변수 조합(스티프 고유매개변수)을 식별하기 위해.
• 매개변수 감도가 주로 데이터에서 기인하는지 사전 믿음에서 기인하는지를 구분하여 모델 추론의 해석 가능성을 향상시키기 위해.
• 최적 적합 값 주변의 국소 곡률을 넘어서는, 불확실성에 기반한 강력한 민감도 분석 방법을 제공하기 위해.
• 미래 데이터 수집을 위해 어떤 매개변수를 우선적으로 측정할 것인지 식별함으로써 더 나은 실험 설계를 가능하게 하기 위해.

제안 방법

• 데이터와 사전 믿음을 모두 통합하여 매개변수 불확실성을 특성화하기 위해 베이지안 추론을 사용하여 사후 표본을 생성한다.
• 사후 공분산 행렬(P)을 적용하여 로그 변환된 매개변수의 다변량 정규성 가정 하에 매개변수 조합에 대한 데이터의 정보성 평가를 수행한다.
• 가능도 정보 기반 부분공간(LIS) 방법(G)을 사용하여 사전 영향을 배제하고 데이터 기반 감도를 고립한다. 이는 헤시안 근사치를 활용한다.
• Cui 등(2016)의 방법에서 유도된 차원 축소 기법을 응용하여 사전과 데이터 기반 기여도를 분리한다.
• P와 G 행렬의 결과를 비교하여, 데이터에 의해 강하게 제약을 받는 스틱 고유매개변수—즉, 데이터에 의해 밀접하게 제약을 받는 조합—를 식별한다. 이 과정에서 사전 정보를 고려한다.
• 합성 및 실제 데이터를 사용하여 생화학 경로, 생태학적 인구 역학, 심장 동역학 모델의 세 영역에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 제한된 데이터를 가진 복잡한 모델에서 매개변수 감도를 데이터 기반과 사전 지식 기반 성분으로 분리할 수 있는가?
• RQ2 어떤 매개변수 조합(고유매개변수)이 모델 출력에 가장 크게 영향을 주며, 그 중에서 어떤 것이 데이터에 의해 제약을 받는가, 사전에 의해 제약을 받는가?
• RQ3 다양한 모델링 맥락에서 후보 공분산과 LIS를 비교할 때, 스틱 고유매개변수를 식별하는 데 어떤 방법이 더 효과적인가?
• RQ4 제안된 방법은 개별 매개변수를 분석할 때 가려졌던 모델 행동의 숨겨진 제어 메커니즘을 드러낼 수 있는가?
• RQ5 이 프레임워크는 향후 실험 설계를 얼마나 잘 이끌 수 있는가? 특히 어떤 매개변수를 측정해야 모델 추론의 불확실성을 줄일 수 있는가?

주요 결과

• 사후 공분산 방법(P)은 로그 변환된 매개변수의 사후 분포가 약간 다변량 정규성에 가까운 경우에 스틱 고유매개변수를 성공적으로 식별한다.
• 가능도 정보 기반 부분공간(LIS) 방법(G)은 데이터 기반 감도를 고립하며, 가능도 표면이 복잡하거나 비정규분포일 경우 기존 방법보다 뛰어난 성능을 보인다.
• 모든 시험 케이스—생화학, 생태학, 심장 모델—에서 스틱 고유매개변수는 개별 매개변수가 아니라 매개변수 조합으로서 모델 출력을 지배하는 것으로 밝혀졌다.
• 이 방법은 사전 믿음이 매개변수 감도에 상당한 영향을 미칠 수 있으며, 특히 데이터가 적을 경우 이러한 영향을 데이터에 기반한 제약과 명시적으로 분리할 수 있음을 드러냈다.
• 이 방법은 모델 예측을 향상시키기 위해 높은 정밀도로 측정되어야 할 '제어 노브'(control knobs)를 식별할 수 있다.
• 이 프레임워크는 모델 출력의 불확실성을 줄이기 위해 어떤 매개변수를 우선적으로 데이터 수집에 집중할 것인지 강조함으로써 더 나은 실험 설계를 지원한다.