[논문 리뷰] Comparison of surrogate-based uncertainty quantification methods for computationally expensive simulators

Nathan Owen, Peter Challenor외 2명|arXiv (Cornell University)|2015. 11. 03.

Probabilistic and Robust Engineering Design참고 문헌 50인용 수 6

한 줄 요약

이 논문은 계산적으로 비용이 많이 드는 시뮬레이터에서의 불확실성 정량화를 위해 다항 혼합(PC)과 가우시안 프로세스(GP) 에미네이션을 비교한다. 두 개의 산업용 시뮬레이터인 adJULES와 VEGACONTROL 및 다양한 실험 설계를 사용하여, 비선형 시나리오에서는 일반적으로 GP가 PC를 능가함을 발견했으며, 특히 작은 또는 중간 크기의 설계에서 그러한 성능 향상이 두드러진다. 그러나 PC는 계산 비용이 낮고 단순한 경우에 경쟁력이 있다.

ABSTRACT

Polynomial chaos and Gaussian process emulation are methods for surrogate-based uncertainty quantification, and have been developed independently in their respective communities over the last 25 years. Despite tackling similar problems in the field, to our knowledge there has yet to be a critical comparison of the two approaches in the literature. We begin by providing a detailed description of polynomial chaos and Gaussian process approaches for building a surrogate model of a black-box function. The accuracy of each surrogate method is then tested and compared for two simulators used in industry: a land-surface model (adJULES) and a launch vehicle controller (VEGACONTROL). We analyse surrogates built on experimental designs of various size and type to investigate their performance in a range of modelling scenarios. Specifically, polynomial chaos and Gaussian process surrogates are built on Sobol sequence and tensor grid designs. Their accuracy is measured by their ability to estimate the mean, standard deviation, exceedance probabilities and probability density function of the simulator output, as well as a root mean square error metric, based on an independent validation design. We find that one method does not unanimously outperform the other, but advantages can be gained in some cases, such that the preferred method depends on the modelling goals of the practitioner. Our conclusions are likely to depend somewhat on the modelling choices for the surrogates as well as the design strategy. We hope that this work will spark future comparisons of the two methods in their more advanced formulations and for different sampling strategies.

연구 동기 및 목표

• 다양한 시뮬레이터 유형, 설계 전략, 실험 설계 크기에서 보조 모델 기반 불확실성 정량화를 위한 다항 혼합과 가우시안 프로세스 에미네이션 방법 간의 비판적이고 직접적인 비교를 제공한다.
• 두 방법의 성능을 다양한 시뮬레이터 유형, 설계 전략, 실험 설계 크기에서 평가한다.
• 각 보조 모델이 평균, 표준편차, 초과 확률 및 확률 밀도 함수를 추정하는 데 있어 정확도를 평가한다.
• 특히 계산 비용과 예측 불확실성의 가용성 측면에서 각 방법의 실용적 이점을 검토한다.
• 모델링 목표와 문제 특성에 따라 가장 적합한 보조 모델 방법을 선택하는 데 도움을 주기 위한 지침을 제공한다.

제안 방법

• 시뮬레이터 실행 결과로부터 비침습적 회귀 기반 계수 추정을 사용해 다항 혼합 보조 모델을 구축한다.
• 베이지안 추론을 사용해 제곱 지수 및 매테른 공분산 함수를 갖는 가우시안 프로세스 에미네이터를 구축한다.
• Sobol 수열과 다양한 크기의 텐서 격자로부터 유도된 실험 설계를 사용해 두 보조 모델을 훈련한다.
• 오차 지표와 분포 추정을 위해 독립적인 1000점 라틴 하이퍼큐브 설계를 사용해 보조 모델 성능을 검증한다.
• 근본 제곱 오차, 평균 및 표준편차 추정 오차, 초과 확률 정확도, PDF 추정의 정밀도를 측정하여 정확도를 평가한다.
• 예측 불확실성의 정량화 능력을 평가하기 위해 GP 예측에 95% 신뢰구간을 포함시켰으며, 이는 PC에서는 제공되지 않는다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 시뮬레이터에서 다항 혼합과 가우시안 프로세스 에미네이터는 평균, 표준편차 및 초과 확률을 추정하는 데 있어 정확도가 어떻게 비교되는가?
• RQ2 특히 작은 또는 중간 크기의 설계를 사용할 때 비선형 시뮬레이터 반응에 대해 어느 보조 모델 방법이 더 우수한 성능을 보이는가?
• RQ3 실험 설계 선택(소볼 수열 대 텐서 격자)이 각 보조 모델 방법의 성능에 어떤 영향을 미치는가?
• RQ4 불확실성 정량화 및 계산 비용 측면에서 어느 한 방법이 다른 방법보다 명백한 이점을 가지는 상황은 언제인가?
• RQ5 다항식 차수나 공분산 함수 선택과 같은 모델링 선택에 따라 결과가 어느 정도 의존하는가?

주요 결과

• 비선형 2차원 토이 함수에 대해, 가우시안 프로세스 에미네이터는 다항 혼합 보조 모델보다 평균, 표준편차 및 초과 확률 추정에서 일관되게 뛰어난 성능을 보였다.
• adJULES 및 VEGACONTROL 시뮬레이터의 경우, GP 에미네이터는 대부분의 설계 크기와 유형에서 뛰어난 정확도를 보였으며, 특히 복잡한 비선형 행동을 잘 포착했다.
• 다항 혼합은 더 단순하거나 저차원의 경우에서 만족스러운 성능을 보였으며, 특히 더 큰 설계 크기에서 유리하지만, 비선형성과 이중모드 출력 분포에서는 어려움을 겪는다.
• 텐서 격자 설계에서는 GP와 PC 간 성능 격차가 크게 좁혀졌으며, 일부 경우에서 PC가 略로 유리함을 보였지만, GP는 여전히 더 안정적인 성능을 유지했다.
• 가우시안 프로세스 에미네이터는 95% 신뢰구간을 통해 내장된 예측 불확실성 제공 기능을 갖추고 있어, 이는 다항 혼합에서는 제공되지 않으며 분포 불확실성 추정이 불가능하다는 점에서 중요한 이점이다.
• 비록 GP 에미네이터가 여러 면에서 유리하지만, 다항 혼합은 계산 비용이 더 낮고, 불확실성 정량화가 주요 목적이 아닌 경우에 더 선호될 수 있다.