[논문 리뷰] Uncertainty analysis and composite hypothesis under the likelihood paradigm

André Chalom, Paulo Inácio Prado|arXiv (Cornell University)|2015. 08. 13.

Probabilistic and Robust Engineering Design참고 문헌 14인용 수 3

한 줄 요약

이 논문은 관측된 데이터에 담긴 정보를 존중하면서도 직관적이고 데이터 기반의 불확실성 추정을 가능하게 하는 이탈리크 기반의 방법론, PLUE(프로파일 가능도 불확실성 추정)를 제안한다. 이는 매개변수 조합에 대한 가능도 표면을 프로파일링하여 모델 校정과 불확실성 분석을 통합한다. 생물학적 모델링에서 분리된 校정 및 민감도 분석에 대한 일관된 대안을 제공한다.

ABSTRACT

The correct use and interpretation of models depends on several steps, two of which being the calibration by parameter estimation and the analysis of uncertainty. In the biological literature, these steps are seldom discussed together, but they can be seen as fitting pieces of the same puzzle. In particular, analytical procedures for uncertainty estimation may be masking a high degree of uncertainty coming from a model with a stable structure, but insufficient data. Under a likelihoodist approach, the problem of uncertainty estimation is closely related to the problem of composite hypothesis. In this paper, we present a brief historical background on the statistical school of Likelihoodism, and examine the complex relations between the law of likelihood and the problem of composite hypothesis, together with the existing proposals for coping with it. Then, we propose a new integrative methodology for the uncertainty estimation of models using the information in the collected data. We argue that this methodology is intuitively appealing under a likelihood paradigm.

연구 동기 및 목표

• 생물학적 모델링에서 모델 校정과 불확실성 분석의 분리된 접근 방식을 해결하기 위해.
• 가능도 원리 아래에서 매개변수 추정과 불확실성 정량화를 통합하기 위해.
• 기본 가정이 잠재적 불확실성을 가리키는 것을 방지하면서도 데이터의 품질과 양을 존중하는 방법을 개발하기 위해.
• 실험 설계와 매개변수 우선순위 정하기를 지원하는 일관되고 직관적인 불확실성 추정 프레임워크를 제공하기 위해.

제안 방법

• 매개변수 조합에서 모델 출력으로 매핑하는 R 함수로 생물학적 모델을 수식화한다.
• 관측된 데이터를 바탕으로 가능도 함수를 정의하며, 통계 모델(예: 이항분포)을 사용해 매개변수 불확실성을 표현한다.
• 메트로폴리스-해스팅스 또는 MCMC를 통해 몬테카를로 샘플링을 사용해 가능도 분포에서 표본을 생성한다.
• 각 샘플된 매개변수 조합에 대해 생물학적 모델을 적용하여 불확실성을 모델 출력으로 전파한다.
• PLUE 함수를 사용해 각 모델 출력의 가능도를 프로파일링하며, 이는 샘플링과 가능도 기반 가중치를 통합한다.
• 프로파일 플롯, 산점도, PRCC(부분 순위 상관 계수)를 활용해 결과를 시각화하여 민감도와 불확실성을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 가능도 원리 아래에서 생물학적 모델의 불확실성 추정을 매개변수 校정과 통합할 수 있는가?
• RQ2 기존 민감도 분석이 데이터의 품질과 양을 忽시할 경우 발생하는 한계는 무엇인가?
• RQ3 어떻게 가능도 프로파일링이 희소하거나 노이즈가 많은 데이터를 가진 모델에서 불확실성의 해석을 향상시킬 수 있는가?
• RQ4 단일 통합 프레임워크는 모델 校정 및 불확실성 분석에서 발생할 수 있는 가정 기반의 오류 위험을 줄일 수 있는가?
• RQ5 PLUE 방법은 데이터 기반 불확실성을 포괄하는 데서 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling)보다 어떻게 다를 수 있는가?

주요 결과

• PLUE 방법은 관측된 데이터로부터 유도된 가능도 표면을 활용하여 모델 校정과 불확실성 분석을 통합하는 프레임워크를 제공한다.
• PLUE를 통해 유도된 불확실성 추정은 기존의 균일하거나 임의의 매개변수 범위를 가정하는 방법보다 데이터의 품질과 양을 더 잘 반영한다.
• 이 방법은 불확실성의 주요 원인인 매개변수를 식별할 수 있어, 표본 수집과 실험 설계에 대한 목표 지정을 지원한다.
• PLUE가 생성한 프로파일 플롯은 임의의 샘플링이 아닌 관측된 데이터의 가능도에 기반한 불확실성의 시각적 표현을 제공한다.
• 산점도와 PRCC를 활용한 PLUE 기반 민감도 분석은 데이터 기반 가능도와 일관된 매개변수 영향을 드러내어 해석 가능성을 향상시킨다.
• pse와 bbmle 패키지를 사용한 R 구현은 생태학적 및 생물학적 모델에 대해 재현 가능하고 모듈화되며 확장 가능한 불확실성 분석을 가능하게 한다.