[论文解读] A new sample-based algorithms to compute the total sensitivity index

Piano, Samuele Lo, Ferretti, Federico+4 more|arXiv (Cornell University)|Mar 16, 2017

Probabilistic and Robust Engineering Design参考文献 42被引用 6

一句话总结

本文提出并评估了用于方差分析中总敏感性指数计算的新样本算法，重点提升计算效率与准确性。研究发现，此前声称的算法改进并未达到预期效果，并指出由于探索性与效率方面的设计局限，要超越现有最佳实践存在显著挑战。

ABSTRACT

Variance-based sensitivity indices have established themselves as a reference among practitioners of sensitivity analysis of model output. It is not unusual to consider a variance-based sensitivity analysis as informative if it produces at least the first order sensitivity indices S_j and the so-called total-effect sensitivity indices T_j for all the uncertain factors of the mathematical model under analysis. Computational economy is critical in sensitivity analysis. It depends mostly upon the number of model evaluations needed to obtain stable values of the estimates. While efficient estimation procedures independent from the number of factors under analysis are available for the first order indices, this is less the case for the total sensitivity indices. When estimating T_j, one can either use a sample-based approach, whose computational cost depends fromon the number of factors, or approaches based on meta-modelling/emulators, e.g. based on Gaussian processes. The present work focuses on sample-based estimation procedures for T_j and tries different avenues to achieve an algorithmic improvement over the designs proposed in the existing best practices. We conclude that some proposed sample-based improvements found in the literature do not work as claimed, and that improving on the existing best practice is indeed fraught with difficulties. We motivate our conclusions introducing the concepts of explorativity and efficiency of the design.

研究动机与目标

• 开发更高效的基于样本的算法，用于估计方差分析中的总敏感性指数。
• 评估近期基于样本的估计方法的算法改进是否优于既定的最佳实践。
• 识别并解释为何某些提出的方法未能实现预期的准确性与效率提升。
• 引入并评估敏感性分析实验设计中探索性与效率的概念。
• 对现有基于样本的方法进行批判性评估，并为未来算法开发提供指导。

提出的方法

• 作者评估了多种用于估计总敏感性指数的基于样本的设计，并与既定的最佳实践进行对比。
• 他们引入了探索性（设计对输入空间的探索程度）和效率（每次估计的计算成本）的概念，以评估算法性能。
• 研究采用蒙特卡洛采样和方差分解技术，估计每个输入因子的总敏感性指数 T_j。
• 作者测试了多种采样策略，包括基于拉丁超立方采样和正交数组的方法，以评估其有效性。
• 通过基准模型验证结果，并比较不同设计在估计收敛速度和稳定性方面的表现。
• 分析结合了理论考量与对合成模型及真实世界模型的实证测试。

实验结果

研究问题

• RQ1 新提出的基于样本的总敏感性指数算法是否在计算效率和准确性方面优于现有最佳实践？
• RQ2 为何一些新近提出的基于样本的方法未能实现所宣称的性能提升？
• RQ3 探索性与效率等设计特性在多大程度上影响总敏感性指数估计的可靠性？
• RQ4 不同采样策略如何影响总敏感性指数估计的收敛性与稳定性？
• RQ5 在改进基于样本的总敏感性指数估计方面，存在哪些根本性限制？

主要发现

• 文献中提出的若干基于样本的改进方法并未如宣称的那样表现良好，未在准确性或效率方面带来显著提升。
• 研究发现，采样设计中探索性不足会导致总敏感性指数估计的不稳定与偏差。
• 现有的基于样本的估计最佳实践依然稳健，超越它们极具挑战性。
• 估计总敏感性指数的计算成本随输入因子数量的增加而上升，尤其在基于样本的方法中更为明显。
• 效率与探索性是关键的设计标准，忽视它们将导致敏感性分析中性能欠佳。
• 作者得出结论：当计算效率为首要考虑时，元模型方法（如高斯过程）可能比基于样本的方法更为合适。