[论文解读] Simple binning algorithm and SimDec visualization for comprehensive sensitivity analysis of complex computational models

Mariia Kozlova, Antti Ahola+2 more|arXiv (Cornell University)|Oct 20, 2023

Probabilistic and Robust Engineering Design被引用 10

一句话总结

本文提出一种简单高效的分箱方法来估计全局灵敏度指标（包括二阶效应），能够处理依赖输入，并辅以 SimDec 可视化以揭示复杂模型中的交互形状；在 toy、Ishigami 和一个机械工程模型上进行了测试。

ABSTRACT

Models of complex technological systems inherently contain interactions and dependencies among their input variables that affect their joint influence on the output. Such models are often computationally expensive and few sensitivity analysis methods can effectively process such complexities. Moreover, the sensitivity analysis field as a whole pays limited attention to the nature of interaction effects, whose understanding can prove to be critical for the design of safe and reliable systems. In this paper, we introduce and extensively test a simple binning approach for computing sensitivity indices and demonstrate how complementing it with the smart visualization method, simulation decomposition (SimDec), can permit important insights into the behavior of complex engineering models. The simple binning approach computes first-, second-order effects, and a combined sensitivity index, and is considerably more computationally efficient than the mainstream measure for Sobol indices introduced by Saltelli et al. The totality of the sensitivity analysis framework provides an efficient and intuitive way to analyze the behavior of complex systems containing interactions and dependencies.

研究动机与目标

• 提供一个直观、计算高效的方法，从数据中计算一阶和二阶方差基的灵敏度指标。
• 证明该方法在不需要广泛变换的前提下自动处理依赖输入。
• 推广可视化使用（SimDec）以揭示交互效应的形状和性质，超越传统指标。
• 在代表性工程模型上展示框架以说明在嵌套异质交互中的能力。
• 提供跨多种编程语言的开源实现以促进采用。

提出的方法

• 将 Marzban and Lahmer 的概念性一阶分箱方法扩展以捕捉二阶效应。
• 沿输入轴对数据分箱以计算条件均值及其（加权）方差以获得灵敏度指标。
• 自动化分箱数选择并通过加权方差在保持守恒性的同时处理离散/分类输入和箱占用变量。
• 通过对所有其他输入聚合一阶指标和二分之一的二阶指标来计算组合灵敏度指标。
• 结合 SimDec 可视化以分解并显示输入区域如何相互作用以塑造输出分布。

Figure 1: Conceptual representation of the sensitivity indices, adapted from ( Saltelli, 2023 ).

实验结果

研究问题

• RQ1 简单分箱方法是否能够高效从具有依赖输入的数据中估算一阶和二阶全局灵敏度指标？
• RQ2 SimDec 可视化是否揭示比仅用指标更丰富的交互形状？
• RQ3 该方法在具有循环/周期行为和相关输入的模型上表现如何？
• RQ4 在简单加法和乘法设置中，第二阶指标与输入相关性（包括负相关性）之间的关系是什么？

主要发现

• 简单分箱方法在使用远少的模型评估的情况下，提供接近 Sobol’ 指数的灵敏度指标。
• 该方法捕捉二阶效应，在输入相关或类别型时保持鲁棒，保留类似守恒的性质。
• 使用 SimDec 的可视化揭示了交互效应的本质，超越指标所概述的内容。
• 在相关的机械工程模型中，二阶指标可能变为负值，反映由于相关性导致的重叠效应。
• 对 Ishigami 和 toy 模型的分析显示样本量和采样策略（QMC）影响准确性，尤其是对于高度曲折或周期关系。
• 该框架以微妙方式将二阶指标与相关性联系起来，显示在存在依赖时加法与乘法模型的非对称性。

Figure 2: Simple binning approach for first-order indices (left) and second-order indices (right).