[논문 리뷰] GPfit: An R package for Gaussian Process Model Fitting using a New Optimization Algorithm

Blake MacDonald, Pritam Ranjan외 1명|2013. 05. 03.

Advanced Multi-Objective Optimization Algorithms참고 문헌 15인용 수 40

한 줄 요약

이 논문은 결정론적 컴퓨터 시뮬레이터에 대해 가우시안 프로세스(GP) 모델을 적합시키는 데 있어 계산적으로 효율적이고 안정적인 방법을 제공하는 R 패키지 GPfit을 소개한다. 이는 공간 상관 구조 함수의 새로운 파arameterization과 다중 시작(multi-start) 기반의 기울기 최적화 알고리즘을 사용하여, 유전 알고리즘 기반 접근 방식보다 훨씬 빠른 속도를 확보하면서도 하한값을 갖는 노게트 파arameterization을 통해 수치적 안정성을 유지한다. 이는 mlegp 패키지와의 비교 검증을 통해 입증되었다.

ABSTRACT

Gaussian process (GP) models are commonly used statistical metamodels for emulating expensive computer simulators. Fitting a GP model can be numerically unstable if any pair of design points in the input space are close together. Ranjan, Haynes, and Karsten (2011) proposed a computationally stable approach for fitting GP models to deterministic computer simulators. They used a genetic algorithm based approach that is robust but computationally intensive for maximizing the likelihood. This paper implements a slightly modified version of the model proposed by Ranjan et al. (2011), as the new R package GPfit. A novel parameterization of the spatial correlation function and a new multi-start gradient based optimization algorithm yield optimization that is robust and typically faster than the genetic algorithm based approach. We present two examples with R codes to illustrate the usage of the main functions in GPfit. Several test functions are used for performance comparison with a popular R package mlegp. GPfit is a free software and distributed under the general public license, as part of the R software project (R Development Core Team 2012).

연구 동기 및 목표

• 입력 설계 점들이 서로 가까이 있을 경우 GP 모델 적합 과정에서 발생하는 수치적 불안정성을 해결하기 위해.
• 기존 GP 적합 방법에서 유전 알고리즘 기반의 우도 최적화가 계산적으로 비효율적인 문제를 해결하기 위해.
• 결정론적 시뮬레이터에 대해 GP 모델을 적합시키는 데 있어 기존의 mlegp와 같은 R 패키지들에 비해 강건하고 빠르며 안정적인 대안을 개발하기 위해.
• 과도한 매끄러움을 방지하면서도 수치적 안정성을 확보하기 위해 하한값을 갖는 노게트 파arameterization을 구현하기 위해.
• 모델 적합, 예측, 시각화를 위한 직관적인 함수를 갖춘 사용자 友好的 R 패키지를 제공하기 위해.

제안 방법

• 우도 최적화의 안정성과 효율성을 향상시키기 위해 공간 상관 구조 함수의 새로운 파arameterization을 제안한다.
• 유전 알고리즘 대비 수렴 속도를 높이고 계산 시간을 단축시키기 위해 다중 시작 기반의 기울기 최적화 알고리즘을 적용한다.
• 공간을 균일하게 채우는 설계에서 클러스터링 기반 접근 방식을 사용해 기울기 탐색을 위한 다양한 초기 값을 생성함으로써 전역 수렴 성능을 향상시킨다.
• 과도한 매끄러움을 방지하고 모델 정확도를 유지하기 위해 노게트 파arameter에 하한 제약 조건을 구현한다.
• 근접 특이성 문제를 다룰 수 있는 강력한 우도 최대화 프레임워크와 최적화를 통합하여 상관 행렬의 근접 특이성 문제를 해결한다.
• 모델 적합, 예측, 시각화를 위한 R 함수 세트를 제공하며, 이는 1차원 또는 2차원 격자에서 작동한다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화 알고리즘이 결정론적 컴퓨터 실험에서 GP 모델 적합에 있어 유전 알고리즘 대비 속도와 강건성 측면에서 뛰어나다고 할 수 있는가?
• RQ2 제안된 상관 구조 함수 파arameterization은 우도 최적화 과정에서 수치적 안정성과 수렴 성능을 어떻게 향상시키는가?
• RQ3 하한값을 갖는 노게트 파arameter는 GP 모델의 예측 정확도와 과도한 매끄러움에 어떤 영향을 미치는가?
• RQ4 넓이 있게 사용되는 mlegp R 패키지와 비교했을 때 GPfit의 성능 및 정확도는 어떠한가?
• RQ5 클러스터링 기반 초기화를 사용한 다중 시작 전략은 최적화 과정의 신뢰성을 얼마나 향상시키는가?

주요 결과

• GPfit에서 사용하는 다중 시작 기반 기울기 최적화는 ranjanNugget에서 사용하는 유전 알고리즘보다 훨씬 빠르며, 수렴 신뢰성은 유사하거나 더 뛰어나다.
• 새로운 상관 구조 함수 파arameterization은 더 효율적이고 안정적인 우도 최적화를 가능하게 하여 고차원 또는 밀도가 높은 입력 설계에서의 수치 문제를 감소시킨다.
• 하한값을 갖는 노게트 접근 방식은 과도한 매끄러움을 효과적으로 방지하면서도 시뮬레이터 출력 결과의 정밀도를 유지하면서도 수치적 안정성을 확보한다.
• mlegp 패키지와의 경험적 비교 결과, GPfit는 더 빠른 계산 시간을 바탕으로 경쟁력 있거나 더 뛰어난 예측 정확도를 달성한다.
• 노게트 제약 조건을 통해 근접 특이 상관 행렬을 성공적으로 처리함으로써, 입력 공간에서 점들이 가까이 있을 경우에도 안정적인 적합이 가능하다.
• GPfit의 시각화 기능(예: plot())은 정규 격자에서 예측값과 평균 제곱 오차의 정확한 표면도 및 등고선도를 제공하며, 사용자 정의 색상 팔레트를 지원한다.