[논문 리뷰] Robust Gaussian Stochastic Process Emulation

Mengyang Gu, Xiaojing Wang외 1명|arXiv (Cornell University)|2017. 08. 16.

Advanced Multi-Objective Optimization Algorithms참고 문헌 29인용 수 4

한 줄 요약

이 논문은 비등방성 상관 구조 하에서 목적적 사전분포와 사후 모드 추정을 사용하여 컴퓨터 모델의 가우시안 스토케스틱 프로세스(GaSP) 추정기의 강건한 매개변수 추정을 제안한다. 다양한 매개변수화 방식이 일반적으로 사용되는 대안들보다 훨씬 더 안정적이고 정확한 추론을 가능하게 함을 보여주며, 이는 마르틴, 힘의 지수, 유리함수의 제곱, 그리고 구형 공분산 함수를 포함한 이론적 및 수치적 증거를 바탕으로 한다. 이는 낙폭 매개변수를 포함한 경우에도 성립한다.

ABSTRACT

We consider estimation of the parameters of a Gaussian Stochastic Process (GaSP), in the context of emulation (approximation) of computer models for which the outcomes are real-valued scalars. The main focus is on estimation of the GaSP parameters through various generalized maximum likelihood methods, mostly involving finding posterior modes; this is because full Bayesian analysis in computer model emulation is typically prohibitively expensive. The posterior modes that are studied arise from objective priors, such as the reference prior. These priors have been studied in the literature for the situation of an isotropic covariance function or under the assumption of separability in the design of inputs for model runs used in the GaSP construction. In this paper, we consider more general designs (e.g., a Latin Hypercube Design) with a class of commonly used anisotropic correlation functions, which can be written as a product of isotropic correlation functions, each having an unknown range parameter and a fixed roughness parameter. We discuss properties of the objective priors and marginal likelihoods for the parameters of the GaSP and establish the posterior propriety of the GaSP parameters, but our main focus is to demonstrate that certain parameterizations result in more robust estimation of the GaSP parameters than others, and that some parameterizations that are in common use should clearly be avoided. These results are applicable to many frequently used covariance functions, e.g., power exponential, Mat{é}rn, rational quadratic and spherical covariance. We also generalize the results to the GaSP model with a nugget parameter. Both theoretical and numerical evidence is presented concerning the performance of the studied procedures.

연구 동기 및 목표

• 컴퓨터 모델 추정에서 GaSP 매개변수에 대한 최대우도추정의 불안정성과 일관성 없는 문제를 해결한다.
• 라틴 하이퍼큐브 설계와 같은 일반적인 입력 설계 하에서 비등방성 상관 함수를 갖는 GaSP에 대한 강건한 매개변수 추정 방법을 개발한다.
• 비등방성, 곱형 구조를 갖는 상관 함수에서 GaSP 매개변수에 대한 목적적 사전분포(예: 참조 사전분포)의 사후 적합성과 이론적 성질을 확립한다.
• 수치적 불안정성과 열악한 예측 성능을 유도하는 매개변수화 방식을 식별하고 제거한다.
• 낙폭 매개변수를 포함한 GaSP 모델로 결과를 일반화하여 수치적 안정성을 향상시키되, 예측 정확도를 손상시키지 않는다.

제안 방법

• 특히 비등방성 상관 함수의 범위 및 부드러움 매개변수에 대해 참조 사전분포를 목적적 사전분포로 사용한다.
• 계산 비용을 줄이기 위해 전체 베이지안 추론 대신 사후 모드 최대화를 통한 GaSP 매개변수 추정을 실시한다.
• 모르는 범위 매개변수와 고정된 부드러움 매개변수를 갖는 등방성 상관 함수의 곱형 상관 구조를 적용한다.
• 범위 매개변수가 무한대 또는 영으로 수렴하는 다양한 渐近적 영역에서의 주변 가능도와 사후 적합성을 유도하고 분석한다.
• 공분산 행렬의 역행과 수치적 조건을 개선하기 위해 낙폭 매개변수를 포함한 프레임워크를 일반화한다.
• 이론적 분석과 수치 실험을 통해 다양한 매개변수화 및 공분산 가족 간의 추정 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비등방성 상관 함수의 다양한 매개변수화가 컴퓨터 모델 추정에서 GaSP 매개변수 추정의 안정성과 정확도에 어떻게 영향을 미치는가?
• RQ2 비등방성, 곱형 구조를 갖는 GaSP 모델에서 참조 사전분포의 이론적 성질—특히 사후 적합성—은 무엇인가?
• RQ3 목적적 사전분포를 사용한 사후 모드 추정이 표준 최대우도 또는 히우리스틱 방법보다 더 강건하고 정확한 GaSP 추정기를 얻을 수 있는가?
• RQ4 낙폭 매개변수의 포함 여부가 다양한 매개변수화 하에서 GaSP 추정기의 강건성과 예측 성능에 어떻게 영향을 미치는가?
• RQ5 수치적 불안정성 또는 열악한 성능로 인해 GaSP 추정에서 일반적으로 사용되는 어떤 매개변수화 방식을 피해야 하는가?

주요 결과

• 참조 사전분포 하에서 마르틴, 힘의 지수, 유리함수의 제곱, 그리고 구형 공분산 함수에 대해 GaSP 매개변수의 사후 적합성이 확립되었다.
• 범위 매개변수를 상관 함수의 부드러움 매개변수와 동일 척도로 다루는 매개변수화는 수치적 불안정성을 유도하므로 피해야 한다.
• 특히 범위와 부드러움 매개변수를 적절히 분리하는 특정 매개변수화는 표준 방법에 비해 훨씬 더 강건한 추정을 가능하게 한다.
• 수치 실험 결과, 제안된 방법이 DiceKriging 및 DiceOptim R 패키지의 기존 방법들보다 예측 오차를 줄임을 확인하였다.
• 고차원 입력 공간과 라틴 하이퍼큐브 설계와 같은 비등방성 설계 하에서도 방법은 강건성을 유지한다.
• 낙폭 매개변수를 추가하면 수치적 안정성이 향상되지만, 매개변수화의 선택이 여전히 예측 정확도 저하를 방지하기 위해 핵심적인 요소이다.