[논문 리뷰] The battle of total-order sensitivity estimators

Arnald Puy, William E. Becker외 2명|arXiv (Cornell University)|2020. 09. 02.

Probabilistic and Robust Engineering Design참고 문헌 7인용 수 15

한 줄 요약

이 연구는 총순서 민감도 추정기의 성능을 고차원 초입방체 프레임워크에서 종합적으로 평가하며, 표본 추출 방법, 입력 분포, 표본 크기, 시험 함수, 차원 수, 고차항 영향을 랜덤 변수로 간주한다. 결과적으로 Razavi와 Gupta의 추정기가 다른 추정기들보다 뛰어나며, 그 다음으로 Jansen의 추정기와 Janon/Monod의 추정기가 이어지며, 글로벌 민감도 분석에서 가장 신뢰할 수 있는 추정기를 선택하는 데 명확한 지침을 제공한다.

ABSTRACT

Sensitivity analysis helps decision-makers to understand how a given model output responds when there is variation in the model inputs. One of the most authoritative measures in global sensitivity analysis is the Sobol' total-order index ($T_i$), which can be computed with several different estimators. Although previous comparisons exist, it is hard to know which estimator performs best since the results are contingent on several benchmark settings: the sampling method ($ au$), the distribution of the model inputs ($\phi$), the number of model runs ($N_t$), the test function or model ($\varepsilon$) and its dimensionality ($k$), the weight of higher order effects (e.g. second, third, $k_2,k_3$), or the performance measure selected ($\delta$). Here we break these limitations and simultaneously assess all total-order estimators in an eight-dimension hypercube where $( au, \phi, N_t, \varepsilon, k, k_2, k_3, \delta)$ are treated as random parameters. This design allows to create an unprecedentedly large range of benchmark scenarios. Our results indicate that, in general, the preferred estimator should be Razavi and Gupta's, followed by that of Jansen, or Janon/Monod. The remainder lag significantly behind in performance. Our work helps analysts navigate the myriad of total-order formulae by effectively eliminating the uncertainty in the selection of the best estimator.

연구 동기 및 목표

• 다양한 기준 설정으로 인해 최적의 총순서 민감도 추정기 선택에 대한 합의가 부족한 문제를 해결하기 위해.
• 이전 비교 연구들이 표본 추출 방법, 입력 분포, 표본 크기, 시험 함수 등의 고정된 구성에 국한되어 있던 한계를 극복하기 위해.
• 다양한 주요 총순서 추정기를 넓은 범위의 무작위화된 기준 시나리오에서 동시에 평가하기 위해.
• 글로벌 민감도 분석에서 가장 강력하고 신뢰할 수 있는 추정기를 확정적으로 추천하기 위해.

제안 방법

• 이 연구는 여덟 가지 핵심 매개변수—표본 추출 방법(au), 입력 분포(φ), 표본 크기(Nt), 시험 함수(ε), 차원 수(k), 그리고 이차 및 삼차항 영향의 가중치(k2, k3)—를 랜덤 변수로 간주하는 고차원 초입방체 설계를 사용한다.
• 이러한 접근은 이전에 볼 수 없었던 크고 다양한 기준 시나리오의 집합을 생성하여 추정기 간의 종합적이고 편향 없는 비교를 가능하게 한다.
• 성능 평가는 다양한 성능 측정 기준(δ)을 사용하여 평가되며, 다양한 평가 기준에 대해 강건성을 확보한다.
• 비교에는 Razavi와 Gupta, Jansen, Janon/Monod 등 널리 사용되는 추정기들이 포함되며, 결과는 모든 시나리오에 걸쳐 집계된다.

실험 결과

연구 질문

• RQ1 다양한 현실적이고 다양한 기준 시나리오에서 어떤 총순서 민감도 추정기가 가장 우수한 성능을 보이는가?
• RQ2 표본 추출 방법, 입력 분포, 표본 크기, 고차항 영향의 변화가 추정기 성능에 어떤 영향을 미치는가?
• RQ3 다양한 성능 측정 기준(δ)이 추정기 순위에 얼마나 큰 영향을 미치는가?
• RQ4 모든 테스트 구성에서 일관되게 뛰어난 성능을 보이는 단일 추정기를 식별할 수 있는가?

주요 결과

• Razavi와 Gupta의 추정기는 테스트한 전체 범위의 기준 시나리오에서 항상 다른 모든 추정기들보다 뛰어난 성능을 보였다.
• Jansen의 추정기는 성능 순위에서 두 번째로 높았으며, 그 다음으로 Janon/Monod의 추정기가 이어졌으며, 나머지 추정기들보다 뚜렷이 뛰어났다.
• 나머지 추정기들은 특히 고차원적이거나 복잡한 입력 구조에서 정확도와 신뢰성 면에서 크게 뒤처졌다.
• 이 연구의 무작위화된 다차원 기준 설계는 이전 비교에서 발생할 수 있는 편향을 효과적으로 제거하여 추정기 선택에 더 강건한 근거를 제공한다.