[논문 리뷰] Statistical Uncertainty Analysis for Stochastic Simulation

Wei Xie, Nelson, Barry L.외 1명|arXiv (Cornell University)|2020. 11. 09.

Simulation Techniques and ApplicationsDecision Sciences참고 문헌 31인용 수 22

한 줄 요약

이 논문은 입력 불확실성(데이터 기반 분포 추정에서 기인함)과 시뮬레이션 불확실성(제한된 반복 수에서 기인함)을 동시에 고려하여 확률적 시뮬레이션의 총 통계적 불확실성을 정량화하는 메타모델 보조 부트스트랩 방법을 제안한다. 반응 표면을 모델링하기 위해 확률적 크리깅을 사용하고, 입력 변동성을 포괄하기 위해 부트스트랩 재표본을 활용함으로써, 메타모델 불확실성이 높은 경우에도 강인한 신뢰구간을 생성하며, 불확실성 감소를 위한 자원 배분 결정(더 많은 데이터 수집 또는 더 많은 시뮬레이션 실행)을 안내하는 분산 분해를 제공한다.

ABSTRACT

When we use simulation to evaluate the performance of a stochastic system, the simulation often contains input distributions estimated from real-world data; therefore, there is both simulation and input uncertainty in the performance estimates. Ignoring either source of uncertainty underestimates the overall statistical error. Simulation uncertainty can be reduced by additional computation (e.g., more replications). Input uncertainty can be reduced by collecting more real-world data, when feasible. This paper proposes an approach to quantify overall statistical uncertainty when the simulation is driven by independent parametric input distributions; specifically, we produce a confidence interval that accounts for both simulation and input uncertainty by using a metamodel-assisted bootstrapping approach. The input uncertainty is measured via bootstrapping, an equation-based stochastic kriging metamodel propagates the input uncertainty to the output mean, and both simulation and metamodel uncertainty are derived using properties of the metamodel. A variance decomposition is proposed to estimate the relative contribution of input to overall uncertainty; this information indicates whether the overall uncertainty can be significantly reduced through additional simulation alone. Asymptotic analysis provides theoretical support for our approach, while an empirical study demonstrates that it has good finite-sample performance.

연구 동기 및 목표

• 입력 불확실성과 시뮬레이션 불확실성이 동시에 존재할 때 총 통계적 오차가 과소평가되는 문제를 해결하기 위해.
• 유한한 실세계 데이터로부터 유래된 입력 불확실성과 반응 표면 근사에서 기인한 메타모델 불확실성을 모두 고려하는 신뢰구간 추정기법을 개발하기 위해.
• 입력 불확실성이 총 불확실성에 미치는 상대 기여도를 정량화하는 분산 분해 측도를 제공하여, 더 많은 데이터를 수집할 것인지 더 많은 시뮬레이션을 실행할 것인지에 대한 의사결정을 안내하기 위해.
• 특히 계산 예산이 제한된 상황과 불안정한 부트스트랩 모멘트가 존재하는 경우에도 유한 표본에서 강인한 성능을 확보하기 위해.

제안 방법

• 실세계 데이터의 비모수적 부트스트랩 재표본을 사용하여 입력 불확실성을 정량화하고, 다수의 매개변수 추정치를 생성한다.
• 확률적 크리깅 메타모델을 사용하여 부트스트랩 재표본화된 매개변수 설정에서의 시뮬레이션 출력을 근사함으로써, 입력 불확실성을 출력 평균으로 전파한다.
• 메타모델 불확실성은 확률적 크리깅 모델의 예측 분산에서 유도되며, 이는 추정 오차와 예측 오차를 모두 고려한다.
• 메타모델과 부트스트랩 분산의 성질을 활용하여 입력 불확실성과 메타모델 불확실성을 모두 포함하는 통합된 신뢰구간(CI+)을 구성한다.
• 입력 불확실성이 총 불확실성에 미치는 상대 기여도를 추정하기 위해 분산 분해를 적용하며, 이는 입력 분산을 총 분산으로 나눈 비율로 정의된다.
• 진동수적 일致성은 진짜 반응 표면이 알려진 매개변수를 가진 가우시안 과정임을 가정할 때 증명된다.

실험 결과

연구 질문

• RQ1 확률적 시뮬레이션 출력에서 입력 불확실성과 메타모델 불확실성을 모두 고려하는 신뢰구간을 구성할 수 있는가?
• RQ2 메타모델 불확실성이 높고 계산 예산이 제한된 경우, 제안된 방법은 어떻게 유한 표본에서 성능을 발휘하는가?
• RQ3 입력 불확실성이 총 불확실성의 주요 원인인 정도는 어느 정도이며, 이를 정량화하여 데이터 수집과 시뮬레이션 실행 간 자원 배분을 안내할 수 있는가?
• RQ4 작은 실세계 데이터 샘플로 인해 부트스트랩 모멘트가 불안정할 경우에도 방법이 적절한 커버리지 확률을 유지하는가?

주요 결과

• 제안된 신뢰구간(CI+)은 메타모델 불확실성이 높은 경우를 포함한 다양한 시나리오에서 명목 수준에 가까운 커버리지 성능을 유지하지만, 기준 방법(CI0)은 메타모델 불확실성이 무시할 수 없을 경우 실패한다.
• 분산 분해 비율 $\widehat{\sigma}_{I}/\widehat{\sigma}_{T}$ 는 입력 불확실성이 총 불확실성에 미치는 상대 기여도를 효과적으로 추정하며, 메타모델 불확실성이 낮을 때는 1.0에 가까워지고 더 많은 실세계 데이터가 추가될수록 감소한다.
• 실세계 데이터 포인트 수 $m = 5000$일 때 $\widehat{\sigma}_{I}/\widehat{\sigma}_{T}$ 는 0.974에 도달하여 입력 불확실성이 주요 오차 원천임을 시사하며, CI0와 CI+ 모두 명목 수준의 커버리지 성능을 달성한다.
• 불안정한 부트스트랩 모멘트(예: $m = 50$) 조건에서도 이 방법은 보수적인 성향을 보였다: CI0의 4.4%와 CI+의 3.8%가 진짜 평균보다 낮은 하한을 가지며, 과소커버리지가 아니라 과대커버리지임을 시사한다.
• 이전 방법들과 달리, 이 방법은 메타모델 불확실성을 줄이기 위해 순차적 실험이 필요하지 않아 계산 비용이 높은 시뮬레이션에 적합하다.
• 실증 결과는 혼합 이산 및 연속 입력 분포를 가진 복잡한 문제에서 계산 제약 조건이 엄격한 상황에서도 양호한 유한 표본 성능을 보여준다.