[논문 리뷰] Shapley effects for sensitivity analysis with dependent inputs: bootstrap and kriging-based algorithms

Nazih Benoumechiara, Kévin Elie-Dit-Cosaque|arXiv (Cornell University)|2018. 01. 10.

Probabilistic and Robust Engineering Design참고 문헌 28인용 수 24

한 줄 요약

이 논문은 입력 상관관계가 있는 상황에서 샤플리 효과의 추정을 향상시키기 위해 부트스트랩 기반 신뢰구간과 크리깅 메타모델을 제안한다. 몬테카를로 샘플링과 크리깅 대체모델을 결합함으로써 계산 비용을 줄이고, 샘플링 오차와 메타모델 오차를 모두 정량화함으로써, 비용이 많이 들지만 상관관계가 있는 입력을 가진 모델에 대해서도 강건하고 해석 가능한 민감도 지표를 제공한다.

ABSTRACT

In global sensitivity analysis, the well known Sobol' sensitivity indices aim to quantify how the variance in the output of a mathematical model can be apportioned to the different variances of its input random variables. These indices are based on the functional variance decomposition and their interpretation become difficult in the presence of statistical dependence between the inputs. However, as there is dependence in many application studies, that enhances the development of interpretable sensitivity indices. Recently, the Shapley values developed in the field of cooperative games theory have been connected to global sensitivity analysis and present good properties in the presence of dependencies. Nevertheless, the available estimation methods don't always provide confidence intervals and require a large number of model evaluation. In this paper, we implement a bootstrap sampling in the existing algorithms to estimate confidence intervals of the indice estimations. We also proposed to consider a metamodel in substitution of a costly numerical model. The estimation error from the Monte-Carlo sampling is combined with the metamodel error in order to have confidence intervals on the Shapley effects. Besides, we compare for different examples with dependent random variables the results of the Shapley effects with existing extensions of the Sobol' indices.

연구 동기 및 목표

• 입력 간 통계적 의존성이 존재할 때 샤플리 효과에 대한 신뢰구간을 신뢰성 있게 추정하는 문제를 해결한다.
• 원본 모델을 크리깅 메타모델로 대체하여 고비용 수치 모델의 민감도 분석에서 계산 부담을 줄인다.
• 샤플리 효과 추정에서 몬테카를로 샘플링 오차와 메타모델 근사 오차를 분리하고 정량화한다.
• 입력 간 의존성이 존재하더라도 해석 가능성을 유지하는 실용적이고 확장 가능한 민감도 분석 프레임워크를 제공한다.
• 기존의 소볼 지수 확장형과의 성능 비교를 통해, 샤플리 효과가 더 뛰어난 해석 가능성과 강건성을 보임을 입증한다.

제안 방법

• 기존 샤플리 효과 추정 알고리즘에 대해 부트스트랩 재표본 추출을 구현하여 몬테카를로 추정 변동성을 반영하는 신뢰구간을 생성한다.
• 고비용 수치 모델의 대체모델로 크리깅 기반 메타모델을 통합하여 모델 평가 횟수를 크게 감소시킨다.
• 공통 오차 모델을 사용하여 총 추정 오차를 몬테카를로 샘플링 오차와 크리깅 메타모델 오차의 두 성분으로 분해한다.
• 마라 등(2015)이 제시한 전체 및 조건부 소볼 지수의 해석적 표현식을 활용해 비교를 위한 기준값을 계산한다.
• 모든 입력 순열에 대한 대칭 평균화를 통해 샤플리 효과 공식을 적용하여, 의존성 하에서 공정한 기여 분배를 보장한다.
• 크리깅 예측 분산과 몬테카를로 추정기의 부트스트랩 분산을 조합하여 총 신뢰구간을 도출한다.

실험 결과

연구 질문

• RQ1 부트스트랩 재표본 추출이 계산 비용 증가 없이 샤플리 효과의 신뢰구간을 효과적으로 추정할 수 있는가?
• RQ2 입력 간 의존성이 존재할 때 크리깅 메타모델의 사용이 샤플리 효과 추정의 정확도와 불확실성 정량화에 어떤 영향을 미치는가?
• RQ3 입력 간 의존성이 존재할 경우 샤플리 효과가 확장된 소볼 지수보다 해석 가능성과 강건성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 샤플리 효과 계산의 총 추정 오차가 몬테카를로 오차와 메타모델 오차 성분으로 신뢰성 있게 분해될 수 있는가?
• RQ5 상관관계가 있는 입력을 가진 벤치마크 모델에서 샤플리 효과가 전체 및 독립 소볼 지수와 정량적으로 어떻게 비교되는가?

주요 결과

• 제안된 부트스트랩 기반 방법은 샤플리 효과 추정에 대해 유효한 신뢰구간을 성공적으로 제공하여 실용적 응용에서 신뢰도를 향상시켰다.
• 크리깅 메타모델은 추정 정확도를 유지하면서도 모델 평가 횟수를 크게 감소시켜 고비용 모델에 대해서도 적용 가능하게 하였다.
• 결합 오차 모델은 몬테카를로 오차와 메타모델 오차를 분리하여 샤플리 효과 추정의 총 불확실성에 대한 더 정확한 평가가 가능하게 하였다.
• 입력 간 의존성이 존재할 경우 샤플리 효과는 상호작용 및 의존성 효과를 자연스럽게 반영함으로써 확장된 소볼 지수보다 해석 가능성과 일관성에서 뛰어나게 성능을 발휘하였다.
• 세 개의 상관관계가 있는 입력을 가진 분석적 테스트 케이스에서 샤플리 효과는 강건하고 균형 잡힌 성능을 보였으며, $ Sh_1, Sh_2, Sh_3 $ 는 $ eta_1\beta_2\beta_3 $ 와 상관관계 파라미터로부터 진짜 구조적 기여를 잘 반영하였다.
• 제안된 방법은 다양한 상관관계 구조에서 확장성과 안정성을 보였으며, 테스트된 예제에서 발산이나 불안정성이 관찰되지 않았다.