[논문 리뷰] SimLab 1.1, Software for Sensitivity and Uncertainty Analysis, tool for sound modelling

N. Giglioli, Andrea Saltelli|ArXiv.org|2000. 11. 21.

Probabilistic and Robust Engineering Design참고 문헌 10인용 수 12

한 줄 요약

SimLab 1.1은 몬테카를로 기반의 민감도 및 불확실성 분석을 위한 소프트웨어 도구로, 모델 입력의 변동이 출력 예측에 어떻게 영향을 미치는지 평가할 수 있도록 한다. 정의된 확률 분포에서 무작위로 샘플된 입력값을 사용해 다수의 모델 평가를 수행함으로써, 불확실성의 주요 원인을 파악하고 위험, 금융, 비상 관리 분야에서 견고한 모델 검증 및 의사결정 지원을 가능하게 한다.

ABSTRACT

The aim of this paper is to present and describe SimLab 1.1 (Simulation Laboratory for Uncertainty and Sensitivity Analysis) software designed for Monte Carlo analysis that is based on performing multiple model evaluations with probabilistically selected model input. The results of these evaluations are used to determine both the uncertainty in model predictions and the input variables that drive this uncertainty. This methodology is essential in situations where a decision has to be taken based on the model results; typical examples include risk and emergency management systems, financial analysis and many others. It is also highly recommended as part of model validation, even where the models are used for diagnostic purposes, as an element of sound model building. SimLab allows an exploration of the space of possible alternative model assumptions and structure on the prediction of the model, thereby testing both the quality of the model and the robustness of the model based inference.

연구 동기 및 목표

• 복잡한 모델링 시나리오에서 종합적인 불확실성 및 민감도 분석을 지원하는 도구를 개발하는 것.
• 다양한 가정 하에서 모델 예측의 견고성 테스트를 통해 모델 검증을 촉진하는 것.
• 불확실성 평가를 통해 고위험 분야인 위험 관리 및 금융 분 析에서의 의사결정 지원을 위한 것.
• 모델 구조 및 가정의 다양한 조합을 탐색하여 그 영향을 예측에 미치는 영향을 평가할 수 있도록 하는 것.
• 영향력 있는 입력 변수와 그 출력 불확실성에 기여하는 바를 체계적으로 식별함으로써 '신뢰할 수 있는 모델링' 관행을 촉진하는 것.

제안 방법

• 정의된 확률 분포에서 무작위로 샘플된 입력값을 사용해 다수의 모델 평가를 수행하는 몬테카를로 시뮬레이션을 활용한다.
• 입력 변동과 출력 불확실성 간의 관계를 분석하기 위해 통계 기법을 적용한다.
• 출력 분산에 기여하는 정도에 따라 입력 변수를 순위 매기는 민감도 분석 방법을 적용한다.
• 모델의 구조 및 가정 공간을 탐색하여 모델의 견고성 테스트를 지원한다.
• 사용의 용이성을 위해 불확실성 정량화 및 민감도 분석을 하나의 소프트웨어 환경에 통합한다.
• 다른 입력 가정 하에서도 예측이 얼마나 유지되는지 평가함으로써 모델 검증을 위한 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 확률적 입력 샘플링을 통해 모델 예측의 불확실성을 어떻게 정량화할 수 있는가?
• RQ2 출력 불확실성에 가장 크게 기여하는 입력 변수는 무엇인가?
• RQ3 모델의 구조적 및 매개변수적 가정을 변화시킴으로써 모델의 견고성은 어느 정도 평가할 수 있는가?
• RQ4 민감도 및 불확실성 분석은 위험 관리 및 비상 관리 시스템에서의 의사결정을 어떻게 향상시킬 수 있는가?
• RQ5 체계적인 불확실성 분석은 진단 또는 예측 목적의 모델 검증에 어떤 역할을 하는가?

주요 결과

• SimLab 1.1은 민감도 분석을 통해 출력 불확실성에 기여하는 가장 영향력 있는 입력 변수를 효과적으로 식별할 수 있다.
• 소프트웨어는 다양한 모델 가정 및 구조를 체계적으로 탐색할 수 있도록 하여 견고한 모델 검증을 지원한다.
• 정의된 확률 분포에서 무작위로 샘플된 입력값을 사용한 다수의 모델 평가가 예측의 불확실성 정량화에 신뢰할 수 있는 기반을 제공한다.
• 도구는 모델 신뢰성에 대한 투명하고 정량화된 평가를 제공함으로써 고위험 분야에서의 의사결정을 향상시킨다.
• 불확실성 및 민감도 분석을 모델 개발 라이프사이클에 통합함으로써, 체계적인 모델링 관행을 지원한다.
• 소프트웨어는 위험 평가, 금융 모델링, 비상 대응 시스템을 포함한 다양한 분야에 적용 가능하도록 설계되어 있다.