[논문 리뷰] Sensitivity analysis from a single input/output sample

Sébastien Da Veiga, Fabrice Gamboa외 3명|arXiv (Cornell University)|2023. 03. 31.

Probabilistic and Robust Engineering DesignDecision Sciences참고 문헌 45인용 수 3

한 줄 요약

이 논문은 단일 입력/출력 샘플을 사용하여 소볼의 지수를 추정하는 새로운 커널 기반 추정기 방법을 제안한다. 최근접 이웃 밀도 추정과 커널 스무딩을 활용하여 점차적 정규성과 일致하는 분산 추정을 달성한다. 주요 기여는 최소한의 모멘트 조건 하에서 추정기의 중심극한정리 도출이다. 이는 최소한의 계산 부담으로 신뢰할 수 있는 민감도 분석을 가능하게 한다.

ABSTRACT

The main objective of this paper is to estimate optimally Sobol' indices at any order when a unique input/output i.i.d.\ sample is available. Our approach stands on three main ingredients: semi-parametric estimation theory, high-order kernel estimation (inspired by the paper of Doksum in 1995), and mirror-type transformations as introduced in Bertin 2020 and Pujol 2022. We propose two different estimators. We prove that these estimators are asymptotically normal and efficient. Furthermore, we illustrate their numerical properties on standard examples.

연구 동기 및 목표

• 모델 반복 평가가 비용이 많이 들기 때문에, 단일 입력/출력 샘플만으로도 소볼의 지수를 추정할 수 있는 민감도 분석 추정기를 개발하는 것.
• 최소한의 모멘트 조건(예: $\mathbb{E}[Y^4] < \infty$) 하에서 이론적 보장을 확보하는 것—특히 중심극한정리 도출을 통한 추정기의 점차적 정규성 보장.
• 중첩 또는 복제 설계가 필요 없이 제1차 및 총합 순서 소볼의 지수를 효율적으로 추정함으로써 계산 비용을 감소시키는 것.
• 다변량 입력과 알려지지 않은 입력 밀도를 다룰 수 있도록 기존의 최근접 이웃 및 커널 기반 방법을 확장하여 고차원 설정에서의 강건성을 향상시키는 것.

제안 방법

• 이 방법은 입력 변수에 대해 커널 스무딩을 적용하여 조건부 기대값을 추정함으로써, 단일 입력/출력 쌍 샘플을 사용해 $\mathbb{E}[\mathbb{E}[Y|X]^2]$의 커널 기반 추정기를 구성한다.
• 편향과 분산을 균형 잡기 위해 밴드폭 선택을 포함한 곱셈 커널 구조를 사용하여 일致성과 점차적 정규성을 확보한다.
• 샘플링 변동성을 보정하기 위해 최근접 이웃 밀도 추정 기반 재가중 기법을 도입하여 별도의 설계점이나 모델 복제가 필요 없도록 한다.
• 모멘트 조건 $\mathbb{E}[Y^4] < \infty$ 하에서 중심극한정리를 도출하여, 추정기가 $\sqrt{n}$ 속도로 정규 분포로 수렴함을 증명한다.
• 입력 밀도 $f_X$가 알려지지 않은 경우, 커널 밀도 추정을 통해 비모수적으로 밀도를 추정함으로써 사전에 입력 분포를 알지 못하는 설정에도 적용 가능하게 한다.
• 이론적 근거로는 단변량 수직다항식 기반 커널의 텐서화를 통해 $d$ 차원에서 순서 $k$의 커널을 구성하는 방법을 제시하여, 모멘트 조건을 만족시킨다.

실험 결과

연구 질문

• RQ1 단일 입력/출력 샘플을 사용하여 이론적 보장을 수반하는 소볼의 지수를 일관되게 추정할 수 있는가?
• RQ2 제안된 커널 기반 추정기는 최소한의 모멘트 조건 하에서 점차적 정규성을 달성하는가?
• RQ3 입력 밀도가 알려지지 않거나 추정될 경우, 추정기의 편향과 분산은 어떻게 되는가?
• RQ4 복제 또는 중첩 설계가 필요 없이 제1차 및 총합 순서 소볼의 지수를 효율적으로 추정할 수 있는가?
• RQ5 밴드폭 선택과 커널 순서는 수렴 속도와 유한 표본 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 추정기는 최소한의 가정 $\mathbb{E}[Y^4] < \infty$ 하에서 점차적 정규성을 확보하여 민감도 지수에 대한 신뢰할 수 있는 추론을 가능하게 한다.
• $\mathbb{E}[\mathbb{E}[Y|X]^2]$의 추정기의 중심극한정리가 도출되어, 소볼의 지수의 핵심 구성 요소로서 신뢰구간 구성이 가능해진다.
• 이 방법은 단일 입력/출력 쌍 샘플만으로도 충분하여, 반복적인 모델 평가나 피크-프리즈와 같은 복잡한 설계 기법이 필요 없어진다.
• 입력 밀도 $f_X$가 알려지지 않은 상태에서 비모수적으로 추정되더라도 추정기는 일관성과 점차적 정규성을 유지하며, 밴드폭 선택을 통해 밀도 추정기의 수렴을 제어할 수 있다.
• 이론적 분석 결과, 차원 수 $d \leq 3$일 경우 추정기의 편향은 무시할 만큼 작으며, 적절한 밴드폭 및 커널 설계를 통해 좋은 표본 내 성능을 유지한다.
• 단변량 수직다항식 기반 커널의 텐서화를 통해 임의의 순서 $k$와 $d$ 차원에서 다변량 커널을 구성하는 구축 방법을 제공하여, 모멘트 조건을 만족시킨다.