[論文レビュー] Why So Many Published Sensitivity Analyses Are False. A Systematic Review of Sensitivity Analysis Practices

Andrea Saltelli, Ksenia Aleksankina+6 more|arXiv (Cornell University)|Nov 30, 2017

Probabilistic and Robust Engineering Design被引用数 50

ひとこと要約

この論文は公表された感度分析を検証し、広範な悪用と入力空間を適切に探索できていないことを示し、確立された成熟したSA手法と標準の導入を主張する。

ABSTRACT

Sensitivity analysis (SA) has much to offer for a very large class of applications, such as model selection, calibration, optimization, quality assurance and many others. Sensitivity analysis offers crucial contextual information regarding a prediction by answering the question "Which uncertain input factors are responsible for the uncertainty in the prediction?" SA is distinct from uncertainty analysis (UA), which instead addresses the question "How uncertain is the prediction?" As we discuss in the present paper much confusion exists in the use of these terms. A proper uncertainty analysis of the output of a mathematical model needs to map what the model does when the input factors are left free to vary over their range of existence. A fortiori, this is true of a sensitivity analysis. Despite this, most UA and SA still explore the input space; moving along mono-dimensional corridors which leave the space of variation of the input factors mostly unscathed. We use results from a bibliometric analysis to show that many published SA fail the elementary requirement to properly explore the space of the input factors. The results, while discipline-dependent, point to a worrying lack of standards and of recognized good practices. The misuse of sensitivity analysis in mathematical modelling is at least as serious as the misuse of the p-test in statistical modelling. Mature methods have existed for about two decades to produce a defensible sensitivity analysis. We end by offering a rough guide for proper use of the methods.

研究の動機と目的

• 感度分析が分野横断でどのように実施されているかを評価する。
• 公表されたSA研究における一般的な誤用と方法論的ギャップを特定する。
• 感度分析と不確実性分析を区別し、入力空間の適切な探索を強調する。
• 正当な感度分析実践のためのガイダンスを提供する。

提案手法

• 文献の感度分析実践のレビューと文献・計量分析。
• 概念的区別を明確化するため、感度分析と不確実性分析の比較。
• 公表されたSA研究における入力空間の探索方法の評価。
• 成熟した感度分析手法の総合と適切な使用のガイダンス。

実験結果

リサーチクエスチョン

• RQ1 公表された感度分析における一般的な実践と誤用は何か。
• RQ2 SA研究は入力因子空間を適切に探索しているか。
• RQ3 文献におけるSAの実践は不確実性分析とどう異なるか。
• RQ4 感度分析の正当性を高める標準やガイドラインは何か。

主な発見

• 多くの公表された感度分析は入力因子空間を適切に探索できていない。
• 分野を横断する標準や認められた良い実践の欠如がある。
• 感度分析はしばしば統計学でp値が悪用されるのと同様に悪用されている。
• 成熟したSA手法は約二十年にわたり存在し、正当な分析を生み出すことができる。
• 著者は手法の適切な使用のための大まかなガイドを提供する。