[논문 리뷰] Emulating computer models with step-discontinuous outputs using Gaussian processes

Hossein Mohammadi, Peter Challenor외 2명|arXiv (Cornell University)|2019. 03. 05.

Gaussian Processes and Bayesian Inference참고 문헌 37인용 수 5

한 줄 요약

이 논문은 전이점이나 분기점이 있는 시스템에서 흔히 발생하는 단계적 불연속 출력을 갖는 컴퓨터 모델을 에뮬레이팅하기 위해 특수 커널(신경망 및 지브스 커널)과 입력 공간의 왜곡을 사용하는 새로운 가우시안 프로세스(GP) 방법을 제안한다. 주요 기여는 표준 GP(마테르너 또는 제곱지수 커널 사용)보다 훨씬 뛰어난 성능을 보이며 급격한 불연속성을 잘 포착할 수 있다는 점이며, 아크탄젠트 길이 척도를 사용하는 지브스 커널과 아크탄젠트 변환을 사용하는 왜곡이 가장 낮은 RMSE 성능을 보였다.

ABSTRACT

In many real-world applications we are interested in approximating costly functions that are analytically unknown, e.g. complex computer codes. An emulator provides a fast approximation of such functions relying on a limited number of evaluations. Gaussian processes (GPs) are commonplace emulators due to their statistical properties such as the ability to estimate their own uncertainty. GPs are essentially developed to fit smooth, continuous functions. However, the assumptions of continuity and smoothness is unwarranted in many situations. For example, in computer models where bifurcations or tipping points occur, the outputs can be discontinuous. This work examines the capacity of GPs for emulating step-discontinuous functions. Several approaches are proposed for this purpose. Two special covariance functions/kernels are adapted with the ability to model discontinuities. They are the neural network and Gibbs kernels whose properties are demonstrated using several examples. Another approach, which is called warping, is to transform the input space into a new space where a GP with a standard kernel, such as the Matern family, is able to predict the function well. The transformation is perform by a parametric map whose parameters are estimated by maximum likelihood. The results show that the proposed approaches have superior performance to GPs with standard kernels in capturing sharp jumps in the true function.

연구 동기 및 목표

• 복잡한 컴퓨터 시뮬레이션에서 흔히 발생하는 불연속 출력을 모델링하는 데 있어 표준 가우시안 프로세스의 한계를 해결하기 위해.
• 다이나믹 시스템의 분기점이나 전이점으로 인해 발생하는 단계적 불연속성을 정확하게 포착할 수 있는 GP 기반 에뮬레이터를 개발하기 위해.
• 불연속 경계를 별도로 탐지해야 하는 파artitioning 기반 방법에 대한 대안적 접근법을 제안하기 위해.
• 고차원 불연속 함수 에뮬레이션에서 특수 커널과 왜곡 기법의 성능을 표준 GP 커널과 비교 평가하기 위해.

제안 방법

• 비정상성 또는 비연속적인 구조를 통해 불연속성을 모델링할 수 있는 전문화된 공분산 함수로 신경망 커널과 지브스 커널을 적용한다.
• 입력 공간을 파라메트릭 시그모이드 변환(예: 로지스틱, 아크탄젠트)을 통해 왜곡하여, 표준 커널이 불연속 출력을 효과적으로 모델링할 수 있는 공간으로 변환한다.
• 최대우도추정법(MLE)을 통해 왜곡 변환의 파라미터와 GP 초모수를 동시에 추정한다.
• 왜곡된 공간에서 제곱지수 커널을 사용하고, 표준 GP 조건부 분포를 이용해 예측 평균과 분산을 유도한다.
• 입력 공간에 대해 변환을 적용함으로써, 변환된 공간에서의 커널이 출력의 단계적 점프를 포착할 수 있도록 한다.
• 공간을 균일하게 채우는 설계를 사용하여 크기 10d의 독립적인 20개의 훈련 세트와 크기 1000의 테스트 세트를 사용해 루트 평균 제곱 오차(RMSE)로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 커널과 지브스 커널과 같은 특수 커널을 사용한 가우시안 프로세스가 컴퓨터 시뮬레이션에서 단계적 불연속 함수를 효과적으로 모델링할 수 있는가?
• RQ2 시그모이드 변환을 사용한 입력 공간 왜곡이 표준 커널 대비 불연속 출력의 GP 에뮬레이션 성능에 어떻게 기여하는가?
• RQ3 로지스틱, 아크탄젠트 등 다양한 시그모이드 함수 중에서 지브스 커널의 왜곡 지도 또는 길이 척도 함수로 사용했을 때의 상대적 성능는 어떠한가?
• RQ4 왜곡 기법은 TGP나 보로노이 기반 에뮬레이터와 같이 별도의 불연속 경계 탐지가 필요 없는가?

주요 결과

• 신경망 커널과 아크탄젠트 길이 척도를 사용하는 지브스 커널은 2D 및 5D 실험에서 가장 낮은 RMSE를 기록하며 표준 커널을 능가했다.
• 아크탄젠트 변환을 사용한 왜곡 방법 역시 최상의 성능을 기록했으며, 최고의 커널 기반 방법과 밀도적으로 유사한 성능를 보였다.
• 제곱지수 커널과 마테르너 3/2 커널은 가장 열악한 성능을 보였으며, 부드러움 가정으로 인해 상당히 높은 RMSE를 기록했다.
• 시그모이드 함수 중에서 로지스틱 변환은 가장 높은 RMSE를 기록했고, 아크탄젠트 함수는 일관되게 가장 정확한 예측을 제공했다.
• 아크탄젠트 길이 척도를 사용하는 지브스 커널과 아크탄젠트 지도를 사용하는 왜곡 모두가 가장 낮은 평균 RMSE를 기록하여, 단계적 불연속성을 모델링하는 데 적합함을 시사했다.
• 결과적으로 최대우도추정을 통해 왜곡 파라미터와 GP 초모수를 동시에 추정함으로써, 사전 불연속 경계 탐지 없이도 효과적인 에뮬레이션을 가능하게 한다.