[논문 리뷰] RobustGaSP: Robust Gaussian Stochastic Process Emulation in R

Mengyang Gu, Jesús Palomo외 1명|arXiv (Cornell University)|2018. 01. 05.

Advanced Multi-Objective Optimization Algorithms참고 문헌 29인용 수 15

한 줄 요약

RobustGaSP는 R에서 관련 매개변수 값이 0 또는 1에 가까워질 경우 발생하는 문제를 방지하기 위해 공동으로 강건한 사전분포를 사용한 주변 후행 모드 추정을 적용한 강건한 가우시안 스토하스틱 프로세스(GaSP) 에미우레이터를 제공한다. 이는 특히 최대우도추정(MLE) 기반 방법보다 더 높은 외부 예측 정확도를 달성하며, 추가적인 계산 비용 없이 관측되지 않는 입력을 자동으로 식별할 수 있다.

ABSTRACT

Gaussian stochastic process emulation is a powerful tool for approximating computationally intensive computer models. However, estimation of parameters in the GaSP emulator is a challenging task. No closed-form estimator is available and many numerical problems arise with standard estimates, e.g., the maximum likelihood estimator. In this package, we implement a marginal posterior mode estimator, for special priors and parameterizations, an estimation method that meets the robust parameter estimation criteria discussed in \cite{Gu2018robustness}; mathematical reasons are provided therein to explain why robust parameter estimation can greatly improve predictive performance of the emulator. In addition, inert inputs (inputs that almost have no effect on the variability of a function) can be identified from the marginal posterior mode estimation, at no extra computational cost. The package also implements the parallel partial Gaussian stochastic process (PP GaSP) emulator (\cite{gu2016parallel}) for the scenario where the computer model has multiple outputs on e.g. spatial-temporal coordinates. The package can be operated in a default mode, but also allows numerous user specifications, such as the capability of specifying trend functions and noise terms. Examples are studied herein to highlight the performance of the package in terms of out-of-sample prediction.}

연구 동기 및 목표

• 관측된 상관관계 매개변수 값이 0 또는 1에 가까워질 경우 발생하는 최대우도추정(MLE)의 불안정성 문제를 해결한다.
• 수학적 안정성과 더 나은 예측 성능을 보장하는 강건한 매개변수 추정 방법을 개발한다.
• 추가적인 계산 비용 없이도 영향이 없거나 노이즈가 많은 입력(출력 변동성에 미치는 영향이 미미한 입력)을 자동으로 식별할 수 있도록 한다.
• 다중 출력 컴퓨터 모델을 다룰 수 있도록 병렬 부분 가우시안 스토하스틱 프로세스(PP GaSP) 에미우레이터를 통해 프레임워크를 확장한다.
• 기본적으로 강건한 설정을 제공하고 사용자 정의 추세 함수, 노이즈 항목, 사전분포를 지원하는 계산 효율이 높고 사용자 확장이 가능한 R 패키지를 제공한다.

제안 방법

• 극단적인 상관관계 값에서 발생하는 수치적 문제를 방지하기 위해 주변 후행 모드 추정과 함께 공동으로 강건한 사전분포를 사용하여 후행 분포를 안정화한다.
• 계산 효율적인 근사치를 기반으로 한 기준 사전분포를 활용하여, 저메모리 준뉴턴 최적화 방법을 사용해 후행 모드를 효율적으로 계산한다.
• 공동으로 강건한 사전분포를 구현하여 중요하지 않은 입력에 대해 자연스럽게 0으로 수렴하는 수축 효과를 유도하며, 후행 모드 분석을 통해 관측되지 않는 입력을 탐지할 수 있다.
• 다중 출력(예: 공간-시간 격자)을 모델링하기 위해 공통된 공분산 구조를 사용하는 PP GaSP 프레임워크를 적용하여 계산 복잡도를 감소시킨다.
• 사용자 정의 추세 함수, 고정 또는 추정된 분산을 가진 노이즈 항목, 그리고 융통성 있는 상관관계 함수를 지원하여 모델의 적응 능력을 향상시킨다.
• 모델 검증 및 성능 평가를 위한 진단 도구(예: 한 개 제외 교차검증, 표준화된 잔차, Q-Q 플롯)를 통합한다.

실험 결과

연구 질문

• RQ1 강건한 매개변수화와 함께 주변 후행 모드 추정이 MLE 대비 GaSP 에미우레이터의 예측 정확도를 상당히 향상시키는가?
• RQ2 공동으로 강건한 사전분포의 사용이 추가 계산 비용 없이도 안정적인 추정과 관측되지 않는 입력의 자연스러운 식별을 가능하게 하는가?
• RQ3 PP GaSP 접근법은 다중 출력 컴퓨터 모델에 대해 독립적인 GaSP 에미우레이터와 비교해 예측 정확도와 계산 효율성 측면에서 어떻게 다른가?
• RQ4 강건한 매개변수화가 특히 상관관계 추정치가 0 또는 1에 가까워질 경우 발생하는 수치적 불안정성을 어느 정도 완화하는가?
• RQ5 실제 응용에서 중간에서 대규모 표본 크기를 가진 환경에서 RobustGaSP 패키지가 기존의 MLE 기반 GaSP 패키지에 비해 신뢰할 수 있고 효율적인 대안이 될 수 있는가?

주요 결과

• RobustGaSP 추정기는 특히 작은 표본에서부터 중간 크기의 표본까지 MLE 기반 방법보다 외부 예측 정확도에서 뚜렷한 우월성을 보였다.
• 문제적인 상관관계 값(0 및 1)에서 후행 밀도가 0이 되어 수학적 안정성이 보장되고 수치적 특이점이 방지된다.
• findInertInputs 함수는 모델 피팅 이후 추가 계산 없이 후행 모드만을 사용하여 출력 변동성에 영향을 거의 주지 않는 입력을 성공적으로 식별했다.
• PP GaSP 에미우레이터는 k >> n일 경우 계산 복잡도를 O(kn³)에서 O(max(n³, kn²))로 감소시켜 TITAN2D와 같은 다중 출력 모델에 있어 상당한 속도 향상을 제공한다.
• TITAN2D 사례 연구에서 PP GaSP는 독립적인 GaSP보다 약간 낮은 RMSE와 더 정확한 95% 예측 가능 신뢰구간을 달성했으며, 계산 시간은 크게 감소시켰다.
• 패키지의 기본 설정(공동 강건 사전분포 포함)은 최소한의 사용자 입력으로도 안정적이고 효율적인 GaSP 에미우레이션을 위한 즉시 사용 가능한 솔루션을 제공한다.