[논문 리뷰] Nonstationary Gaussian Process Surrogates

Annie Sauer, Andrew I. Cooper외 1명|arXiv (Cornell University)|2023. 05. 30.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 컴퓨터 실험에서 비정상적 가우시안 프로세스(GP) 대체 모델에 대한 종합적인 설문 조사로, 비정상적 커널, 국소 GP, 나무형 GP, 그리고 벡차 근사와 함께 딥 GP를 포함한 방법들을 평가한다. 8차원 위성 항력 시뮬레이션에서, 타원형 슬라이스 샘플링과 벡차 근사를 사용한 완전 베이지안 딥 GP(DGP ESS)가 예측 정확도와 불확실성 정량화(UQ) 측면에서 변분 추론 및 국소 GP 접근법을 모두 능가하여 최고의 성능을 보였다.

ABSTRACT

We provide a survey of nonstationary surrogate models which utilize Gaussian processes (GPs) or variations thereof, including nonstationary kernel adaptations, partition and local GPs, and spatial warpings through deep Gaussian processes. We also overview publicly available software implementations and conclude with a bake-off involving an 8-dimensional satellite drag computer experiment. Code for this example is provided in a public git repository.

연구 동기 및 목표

• 컴퓨터 시뮬레이션에서 흔한 비정상적 반응 표면을 모델링하는 데 있어 정상적 GP의 한계를 해결하기 위해.
• 예측 정확도와 불확실성 정량화(UQ) 측면에서 비정상적 GP 대체 모델 방법들을 평가하고 비교하기 위해.
• 실제 고차원 시뮬레이션에 대해 완전 베이지안 추론이 비정상적 GP 모델에서 효과적으로 작용하는지 보여주기 위해.
• 100만 회의 실행을 포함한 대규모 8차원 위성 항력 시뮬레이션을 사용해 재현 가능한 벤치마크를 제공하기 위해.
• 최적화, 안전 분석, 校정 등 후속 작업에서 UQ의 중요성을 부각하기 위해.

제안 방법

• 쌍방 간의 거리 이외의 공간적으로 변화하는 공분산 구조를 허용하는 비정상적 커널의 변형.
• 국소 공분산 행렬을 사용하는 분할-정복 전략을 활용한 국소 근사 GP(laGP).
• 입력 공간을 서로 다른 GP 모델이 존재하는 영역으로 분할하는 나무형 GP(TGP)로, 축에 따라 정렬된 제어 영역 전환을 가능하게 한다.
• 확장 가능한 완전 베이지안 추론을 위해 타원형 슬라이스 샘플링(ESS)과 벡차 근사를 사용하는 딥 가우시안 프로세스(DGP).
• 확장성 향상과 기준 비교를 위해 정상적 GP에 스케일링된 벡차 근사(SVEC)를 사용.
• 비교를 위해 GPflux에서 이중 스토하스틱 변분 추론(DSVI)을 구현하였지만, UQ 성능이 제한적이었다.

Figure 1: Various surrogate fits to the piecewise Higdon function. Training data is observed without noise, but each surrogate is tasked with learning the noise level. The lower right panel shows elliptical slice samples of the DGP’s latent layer, stretching inputs in the left region and compressing

실험 결과

연구 질문

• RQ1 고차원이고 실제 세계의 컴퓨터 시뮬레이션에서 비정상적 GP 대체 모델은 예측 정확도와 불확실성 정량화(UQ) 측면에서 어떻게 비교되는가?
• RQ2 완전 베이지안 추론은 비정상적 GP 모델에서 UQ와 예측에 어떤 영향을 미치는가?
• RQ3 왜 DGP에서의 변분 추론(DSVI)은 저자료, 고신호의 컴퓨터 시뮬레이션 환경에서 성능이 열 劣하는가?
• RQ4 국소 GP나 나무형 GP 방법은 복잡한 물리적 시뮬레이션에서 제어 영역 전환을 효과적으로 포착할 수 있는가?
• RQ5 입력 전처리 스케일링은 다양한 비정상적 GP 방법의 대체 모델 성능에 어떤 영향을 미치는가?

주요 결과

• DGP ESS 모델이 가장 낮은 평균 제곱근 오차(RMSE)와 연속적 랭크 확률 점수(CRPS)를 기록하여, 뛰어난 예측 정확도와 불확실성 정량화를 입증하였다.
• DSVI 기반 DGP는 RMSE와 CRPS 모두에서 열 劣한 성능을 보였으며, 이는 변분 추론이 불확실성을 과소평가하고 저자료·고신호 영역에서 적합도가 떨어지기 때문일 것이다.
• 국소 GP(laGP)는 양호한 성능을 보였지만, SVEC를 사용한 정상적 GP에 비해 열 劣했으며, 이는 대규모 데이터를 대상으로 설계된 방법이 중간 크기의 비정상적 시뮬레이션에는 적합하지 않을 수 있음을 시사한다.
• 나무형 GP는 강력한 성능을 보였으며, 특히 제8번째 입력(패널 각도)에 의해 유도되는 제어 영역 전환을 잘 포착하였다. 이는 축에 따라 정렬된 분할 방식이 허블 망원경 시뮬레이션의 물리적 역학과 잘 맞는다는 것을 시사한다.
• TGP와 DGP ESS에서의 완전 베이지안 추론은 더 신뢰할 수 있는 UQ를 이끌어내었으며, 이는 후속 의사결정 과정에서 일관된 불확실성 전파의 중요성을 강조한다.
• SVEC 모델에서 유도된 길이 척도를 사용한 입력 전처리 스케일링이 모든 방법에서 성능 향상을 이끌어내어, 표준 전처리 단계로서의 가치를 확인하였다.

Figure 2: Left: Example of a tree generated by TGP on an LGBB dataset. Splits are made on speed (mach) and angle of attack (alpha). Right: Predictive surface plot of the rocket’s lift. The partition on the input space generated by the tree is shown on the bottom panel, with colors corresponding to r