[논문 리뷰] Why So Many Published Sensitivity Analyses Are False. A Systematic Review of Sensitivity Analysis Practices

Andrea Saltelli, Ksenia Aleksankina외 6명|arXiv (Cornell University)|2017. 11. 30.

Probabilistic and Robust Engineering Design인용 수 50

한 줄 요약

이 논문은 공개된 민감도 분석을 감사하고 광범위한 오용과 입력 공간을 적절히 탐색하지 못함을 보여주며, 확립된 성숙한 SA 방법과 표준의 필요성을 주장한다.

ABSTRACT

Sensitivity analysis (SA) has much to offer for a very large class of applications, such as model selection, calibration, optimization, quality assurance and many others. Sensitivity analysis offers crucial contextual information regarding a prediction by answering the question "Which uncertain input factors are responsible for the uncertainty in the prediction?" SA is distinct from uncertainty analysis (UA), which instead addresses the question "How uncertain is the prediction?" As we discuss in the present paper much confusion exists in the use of these terms. A proper uncertainty analysis of the output of a mathematical model needs to map what the model does when the input factors are left free to vary over their range of existence. A fortiori, this is true of a sensitivity analysis. Despite this, most UA and SA still explore the input space; moving along mono-dimensional corridors which leave the space of variation of the input factors mostly unscathed. We use results from a bibliometric analysis to show that many published SA fail the elementary requirement to properly explore the space of the input factors. The results, while discipline-dependent, point to a worrying lack of standards and of recognized good practices. The misuse of sensitivity analysis in mathematical modelling is at least as serious as the misuse of the p-test in statistical modelling. Mature methods have existed for about two decades to produce a defensible sensitivity analysis. We end by offering a rough guide for proper use of the methods.

연구 동기 및 목표

• 다양한 분야에서 민감도 분석이 어떻게 수행되는지 평가한다.
• 공개된 SA 연구에서 일반적인 오용과 방법론적 격차를 식별한다.
• 민감도 분석과 불확실성 분석을 구분하고 입력 공간의 적절한 탐색을 강조한다.
• 민감도 분석 실무에 대한 방어 가능한 지침을 제공한다.

제안 방법

• 문헌에서의 기존 민감도 분석 관행에 대한 검토 및 계량적 분석.
• 개념적 구분을 명확히 하기 위해 민감도 분석과 불확실성 분석을 비교한다.
• 공개된 SA 연구에서 입력 공간이 어떻게 탐색되는지 평가한다.
• 성숙한 민감도 분석 방법을 종합하고 올바른 사용에 대한 지침을 제시한다.

실험 결과

연구 질문

• RQ1 공개된 민감도 분석에서 일반적인 관행과 오용은 무엇인가?
• RQ2 SA에서 공개된 연구가 입력 요인 공간을 충분히 탐구하는가?
• RQ3 문헌에서 SA 관행은 불확실성 분석과 어떻게 다르게 나타나는가?
• RQ4 민감도 분석의 방어성을 개선할 수 있는 표준이나 지침은 무엇인가?

주요 결과

• 많은 공개된 민감도 분석이 입력 요인 공간을 적절히 탐구하지 못한다.
• 분야 간 표준과 인정된 선행 관행이 부족하다.
• 민감도 분석은 통계에서 p-값이 남용되는 방식과 유사하게 오용되는 경우가 많다.
• 성숙한 SA 방법은 약 20년간 존재해 왔고 방어 가능한 분석을 도출할 수 있다.
• 저자들은 방법의 올바른 사용에 대한 대략적인 가이드를 제공한다.