[논문 리뷰] Simple binning algorithm and SimDec visualization for comprehensive sensitivity analysis of complex computational models

Mariia Kozlova, Antti Ahola외 2명|arXiv (Cornell University)|2023. 10. 20.

Probabilistic and Robust Engineering Design인용 수 10

한 줄 요약

이 논문은 의존 입력을 다루고, 복잡한 모델의 상호 작용 모양을 드러내기 위한 SimDec 시각화를 보완하는 간단하고 효율적인 구간화(bin) 방법을 도입한다. toy, Ishigami, 기계공학 모델에서 테스트된다.

ABSTRACT

Models of complex technological systems inherently contain interactions and dependencies among their input variables that affect their joint influence on the output. Such models are often computationally expensive and few sensitivity analysis methods can effectively process such complexities. Moreover, the sensitivity analysis field as a whole pays limited attention to the nature of interaction effects, whose understanding can prove to be critical for the design of safe and reliable systems. In this paper, we introduce and extensively test a simple binning approach for computing sensitivity indices and demonstrate how complementing it with the smart visualization method, simulation decomposition (SimDec), can permit important insights into the behavior of complex engineering models. The simple binning approach computes first-, second-order effects, and a combined sensitivity index, and is considerably more computationally efficient than the mainstream measure for Sobol indices introduced by Saltelli et al. The totality of the sensitivity analysis framework provides an efficient and intuitive way to analyze the behavior of complex systems containing interactions and dependencies.

연구 동기 및 목표

• 데이터로부터 1차 및 2차 분산 기반 민감도 지수를 직관적이고 계산적으로 효율적인 방법으로 계산하는 것을 제공한다.
• 방법이 광범위한 변환을 필요로 하지 않고 의존 입력을 자동으로 처리함을 보여준다.
• 전통적 지수 를 넘어 상호 작용 효과의 형태와 특성을 밝히기 위해 시각화(SimDec) 활용을 촉진한다.
• 중첩된 이질적 상호 작용과 함께 능력을 보여주기 위해 대표적인 공학 모델에서 프레임워크를 선보인다.
• 다양한 프로그래밍 언어로 된 오픈 소스 구현을 제공하여 채택을 용이하게 한다.

제안 방법

• Marzban과 Lahmer의 개념적 1차 구간화 접근법을 확장하여 2차 효과를 포착한다.
• 입력 축을 따라 데이터를 구간화하여 조건부 평균과 그(가중) 분산을 계산해 민감도 지수를 얻는다.
• 이산/범주형 입력 및 가변 구간 점유를 처리하기 위해 구간 수 선택을 자동화하고 가중 분산으로 보존성과를 유지한다.
• 다른 모든 입력에 대해 1차 지수에 2차 지수의 절반을 합산하여 결합 민감도 지수를 계산한다.
• 출력 분포를 형성하는 입력 영역이 상호 작용하는 방식을 분해하고 표시하기 위해 SimDec 시각화를 도입한다.

Figure 1: Conceptual representation of the sensitivity indices, adapted from ( Saltelli, 2023 ).

실험 결과

연구 질문

• RQ1 간단한 구간화 접근법이 의존 입력을 가진 데이터에서 1차 및 2차 전역 민감도 지수 모두를 효율적으로 추정할 수 있는가?
• RQ2 SimDec 시각화가 지수만으로는 전달할 수 없는 더 풍부한 상호 작용 형태를 드러내는가?
• RQ3 주기적/순환적 행동과 상관 입력이 있는 모델에서 이 방법의 수행은 어떠한가?
• RQ4 단순 가법 및 곱셈 설정에서 2차 지수와 입력 상관(음의 상관 포함) 간의 관계는 무엇인가?

주요 결과

• 단순 구간화 방법은 Sobol’ 지수에 근접한 민감도 지수를 제공하면서도 훨씬 적은 모델 평가를 사용한다.
• 이 방법은 2차 효과를 포착하고 입력이 의존적이거나 범주형일 때도 강건하게 작동하며 보존과 같은 특성을 유지한다.
• SimDec 시각화는 지수가 요약하는 것 이상으로 상호 작용 효과의 본질을 드러낸다.
• 상관된 기계공학 모델에서 2차 지수는 음수가 될 수 있으며 이는 의존성으로 인한 중첩 효과를 반영한다.
• Ishigami 및 toy 모델에 대한 분석은 샘플 크기와 샘플링 전략(QMC)이 정확도에 영향을 미치며, 특히 곡선이 많이 굽은 또는 주기적 관계에서 그렇다.
• 프레임워크는 2차 지수를 상관과 미묘하게 연계하여 의존성 하에서 가법 및 곱셈 모델 간 비대칭성을 보여준다.

Figure 2: Simple binning approach for first-order indices (left) and second-order indices (right).