[논문 리뷰] Jointly Robust Prior for Gaussian Stochastic Process in Emulation, Calibration and Variable Selection

Mengyang Gu|arXiv (Cornell University)|2018. 04. 25.

Probabilistic and Robust Engineering Design참고 문헌 24인용 수 4

한 줄 요약

이 논문은 불확실성 정량화에서 가우시안 스토케스틱 프로세스(GaSP)에 대한 공동으로 강건한(JR) 사전분포를 도입하여, 안정적인 에미ュ레이션, 校正 및 변수 선택을 가능하게 한다. JR 사전분포는 안정적인 사후 모드 추정을 보장하며, 자동으로 비활성 입력을 식별하고, 참조 사전분포보다 예측 정확도와 신뢰구간 커버리지에서 뛰어나며 계산 효율성도 높다.

ABSTRACT

Gaussian stochastic process (GaSP) has been widely used in two fundamental problems in uncertainty quantification, namely the emulation and calibration of mathematical models. Some objective priors, such as the reference prior, are studied in the context of emulating (approximating) computationally expensive mathematical models. In this work, we introduce a new class of priors, called the jointly robust prior, for both the emulation and calibration. This prior is designed to maintain various advantages from the reference prior. In emulation, the jointly robust prior has an appropriate tail decay rate as the reference prior, and is computationally simpler than the reference prior in parameter estimation. Moreover, the marginal posterior mode estimation with the jointly robust prior can separate the influential and inert inputs in mathematical models, while the reference prior does not have this property. We establish the posterior propriety for a large class of priors in calibration, including the reference prior and jointly robust prior in general scenarios, but the jointly robust prior is preferred because the calibrated mathematical model typically predicts the reality well. The jointly robust prior is used as the default prior in two new R packages, called "RobustGaSP" and "RobustCalibration", available on CRAN for emulation and calibration, respectively.

연구 동기 및 목표

• 작은 표본 크기에서 에미ュ레이션 및 校정 시 GaSP의 매개변수 추정이 불안정해지는 문제를 해결하기 위해.
• 사후 모드 추정의 강건성을 유지하면서 동시에 비활성 입력을 자동으로 식별할 수 있는 사전분포를 개발하기 위해.
• 과신된 불확실성 정량화를 피하고 예측 정확도와 신뢰구간 커버리지 향상을 위해 校정에서의 예측 정확도를 향상시키기 위해.
• 동일하거나 더 나은 성능를 보이며 계산 효율성이 뛰어난 참조 사전분포의 대안을 제공하기 위해.
• 보편적인 상황에서 校정에 대한 사후 적합성(posterior propriety)을 확립하기 위해, 특히 JR 사전분포 포함한 광범위한 사전분포 클래스에 대해.

제안 방법

• 에미ュ레이션 및 校정에서 GaSP에 대한 새로운 목적 사전분포로 공동으로 강건한(JR) 사전분포를 제안한다.
• 개별 범위 매개변수 γₗ를 가진 곱형 상관관계 구조를 사용하고, 강건성을 확보하기 위해 특정 매개변수화를 적용한다.
• JR 사전분포 하에서 주변 사후 모드 추정을 활용하여 안정적인 추정과 동시에 변수 선택을 동시에 달성한다.
• 효율적인 최적화를 위해 닫힌 형태의 도함수를 유도하여 참조 사전분포 대비 계산 속도를 향상시킨다.
• 보정에서 에미우레이터 및 차이 함수 모델링에 JR 사전분포를 적용하여 매개변수 식별도 향상시킨다.
• 시뮬레이션 예제와 실제 사례 연구를 통해 참조 사전분포 및 최대우도추정(MLE)과의 비교를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 GaSP 기반의 에미유레이션 및 校정에서 사후 모드 추정의 강건성을 보장할 수 있는 새로운 목적 사전분포를 설계할 수 있는가?
• RQ2 JR 사전분포는 추가적인 계산 비용 없이도 비활성 입력을 자동으로 식별할 수 있는가?
• RQ3 JR 사전분포는 참조 사전분포에 비해 예측 정확도와 불확실성 보정에서 어떻게 비교되는가?
• RQ4 작은 표본 크기에서 JR 사전분포는 매개변수 식별도 향상시킬 수 있는가?
• RQ5 JR 사전분포는 참조 사전분포 및 MLE 대비 계산 효율성이 어떻게 되는가?

주요 결과

• JR 사전분포는 참조 사전분포와 비교해 유사하거나 더 나은 예측 성능를 보이며, 보정 모델과 차이 함수에서 NRMSE가 각각 0.21로, 참조 사전분포의 0.28보다 낮다.
• JR 사전분포는 보유한 데이터 포인트의 약 98%를 포함하는 95% 사후 신뢰구간을 생성하여, 잘 校정된 불확실성 정량화를 나타낸다.
• 참조 사전분포는 평균 매개변수의 사후 분산이 과도하게 증가하여 과신된 결과를 보이며, 95% 신뢰구간의 커버리지 비율이 뿐만 88%에 그친다.
• 닫힌 형태의 도함수 덕분에 JR 사전분포는 참조 사전분포보다 계산 속도가 더 빠르며, 효율적인 최적화를 가능하게 한다.
• JR 사전분포 하에서 주변 사후 모드는 비활성 입력을 성공적으로 식별하며, 이는 참조 사전분포가 일관되게 제공하지 못하는 능력이다.
• JR 사전분포는 일반적인 상황에서도 보정에서 사후 적합성을 보장하여 유효한 베이지안 추론을 가능하게 한다.