[논문 리뷰] A new sample-based algorithms to compute the total sensitivity index

Piano, Samuele Lo, Ferretti, Federico외 4명|arXiv (Cornell University)|2017. 03. 16.

Probabilistic and Robust Engineering Design참고 문헌 42인용 수 6

한 줄 요약

이 논문은 분산 기반 민감도 분석에서 총 민감도 지수를 계산하기 위한 새로운 표본 기반 알고리즘을 제안하고 평가하며, 계산 효율성과 정확도 햖스를 향상시키는 데 초점을 맞춘다. 기존에 주장된 알고리즘 개선 사항들이 예상과는 다르게 작동하는 것으로 밝혀졌으며, 탐색성과 효율성의 설계 한계로 인해 기존의 최선의 실천 방법을 뛰어넘는 것이 매우 어렵다는 점을 강조한다.

ABSTRACT

Variance-based sensitivity indices have established themselves as a reference among practitioners of sensitivity analysis of model output. It is not unusual to consider a variance-based sensitivity analysis as informative if it produces at least the first order sensitivity indices S_j and the so-called total-effect sensitivity indices T_j for all the uncertain factors of the mathematical model under analysis. Computational economy is critical in sensitivity analysis. It depends mostly upon the number of model evaluations needed to obtain stable values of the estimates. While efficient estimation procedures independent from the number of factors under analysis are available for the first order indices, this is less the case for the total sensitivity indices. When estimating T_j, one can either use a sample-based approach, whose computational cost depends fromon the number of factors, or approaches based on meta-modelling/emulators, e.g. based on Gaussian processes. The present work focuses on sample-based estimation procedures for T_j and tries different avenues to achieve an algorithmic improvement over the designs proposed in the existing best practices. We conclude that some proposed sample-based improvements found in the literature do not work as claimed, and that improving on the existing best practice is indeed fraught with difficulties. We motivate our conclusions introducing the concepts of explorativity and efficiency of the design.

연구 동기 및 목표

• 분산 기반 민감도 분석에서 총 민감도 지수를 추정하기 위한 더 효율적인 표본 기반 알고리즘을 개발하는 것.
• 최근 표본 기반 추정에서의 알고리즘 개선 사항이 기존의 최선의 실천 방법을 뛰어넘는지 평가하는 것.
• 일부 제안된 방법이 약속한 정확도 및 효율성 향상 효과를 내지 못하는 이유를 규명하고 설명하는 것.
• 민감도 분석을 위한 실험 설계에서 탐색성과 효율성의 개념을 도입하고 평가하는 것.
• 기존의 표본 기반 방법에 대한 비판적 평가를 제공하고 향후 알고리즘 개발을 안내하는 것.

제안 방법

• 저자는 총 민감도 지수를 추정하기 위한 다양한 표본 기반 설계를 평가하며, 이를 기존의 최선의 실천 방법과 비교한다.
• 알고리즘 성능 평가를 위해 탐색성(입력 공간을 얼마나 잘 탐색하는지)과 효율성(각 추정에 대한 계산 비용)의 개념을 도입한다.
• 모든 입력 요인에 대해 총 민감도 지수 T_j 를 추정하기 위해 몬테카를로 표본 추출과 분산 분해 기법을 사용한다.
• 라틴 하이퍼큐브 표본 추출과 수직 배열 기반 전략을 포함한 여러 표본 추출 전략을 테스트하여 그 효과를 평가한다.
• 기준 모델을 사용하여 결과를 검증하고, 다양한 설계 간의 수렴 속도와 추정치의 안정성에 대해 비교한다.
• 이론적 고려 사항과 함께 합성 모델 및 실제 응용 모델에 대한 실증적 테스트를 포함한다.

실험 결과

연구 질문

• RQ1 최근 제안된 총 민감도 지수를 위한 표본 기반 알고리즘이 계산 효율성과 정확성 측면에서 기존의 최선의 실천 방법을 뛰어넘을 수 있는가?
• RQ2 최근에 제안된 표본 기반 방법 중 일부가 성능 향상에 대해 약속한 바와는 달리 성능 향상 효과를 내지 못하는 이유는 무엇인가?
• RQ3 탐색성과 효율성과 같은 설계 특성이 총 민감도 지수 추정의 신뢰성에 어느 정도 영향을 미치는가?
• RQ4 다양한 표본 추출 전략은 총 민감도 지수 추정의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ5 표본 기반 총 민감도 지수 추정을 향상시키는 데 있어 근본적인 한계는 무엇인가?

주요 결과

• 문헌에서 제안된 여러 표본 기반 개선 사항들이 실제로는 기대한 바와 같이 작동하지 않으며, 정확도나 효율성 향상이 뚜렷하지 않다.
• 본 연구는 표본 설계의 열악한 탐색성이 총 민감도 지수 추정치의 불안정성과 편향을 초래함을 규명한다.
• 기존의 최선의 실천 방법은 여전히 강력하며, 이를 향상시키는 것은 매우 어렵다.
• 입력 요인의 수가 증가할수록 총 민감도 지수를 추정하는 데 드는 계산 비용이 증가하며, 특히 표본 기반 방법에서 더욱 두드러진다.
• 효율성과 탐색성은 핵심 설계 기준이며, 이를 간과하면 민감도 분석에서 성능이 열등해진다.
• 저자는 계산 효율성이 우선시되는 경우 메타모델링 기법(예: 가우시안 프로세스)이 표본 기반 방법보다 더 적합할 수 있음을 결론짓는다.