[논문 리뷰] Global Optimization of Gaussian processes

Artur M. Schweidtmann, Dominik Bongartz외 5명|arXiv (Cornell University)|2020. 05. 21.

Gaussian Processes and Bayesian Inference참고 문헌 68인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스(GPs)의 결정론적 전역 최적화를 위한 축소된 공간(branch-and-bound) 방법을 제안한다. 이 방법은 McCormick 완화 기법과 일반적인 공분산 함수 및 추출 함수(예: 기대 개선도, 개선 가능성 확률, 하한 신뢰 구간)에 특화된 봉우리 함수를 활용한다. 기존 최첨단 방법 대비 계산 시간을 수개월 정도로 감소시켜, 공정 시스템 공학 및 베이지안 최적화 응용 분야에서 더 큰 데이터셋에 훈련된 GPs의 효율적 전역 최적화를 가능하게 한다.

ABSTRACT

Gaussian processes~(Kriging) are interpolating data-driven models that are frequently applied in various disciplines. Often, Gaussian processes are trained on datasets and are subsequently embedded as surrogate models in optimization problems. These optimization problems are nonconvex and global optimization is desired. However, previous literature observed computational burdens limiting deterministic global optimization to Gaussian processes trained on few data points. We propose a reduced-space formulation for deterministic global optimization with trained Gaussian processes embedded. For optimization, the branch-and-bound solver branches only on the degrees of freedom and McCormick relaxations are propagated through explicit Gaussian process models. The approach also leads to significantly smaller and computationally cheaper subproblems for lower and upper bounding. To further accelerate convergence, we derive envelopes of common covariance functions for GPs and tight relaxations of acquisition functions used in Bayesian optimization including expected improvement, probability of improvement, and lower confidence bound. In total, we reduce computational time by orders of magnitude compared to state-of-the-art methods, thus overcoming previous computational burdens. We demonstrate the performance and scaling of the proposed method and apply it to Bayesian optimization with global optimization of the acquisition function and chance-constrained programming. The Gaussian process models, acquisition functions, and training scripts are available open-source within the "MeLOn - Machine Learning Models for Optimization" toolbox~(https://git.rwth-aachen.de/avt.svt/public/MeLOn).

연구 동기 및 목표

• 비볼록 최적화 문제에 통합된 가우시안 프로세스의 결정론적 전역 최적화에 따른 계산 부담을 해결한다.
• 이전 방법들이 높은 계산 비용으로 인해 작은 데이터셋에만 GP 최적화를 제한하는 한계를 극복한다.
• 공정 시스템 공학 및 베이지안 최적화 분야에서 GP 기반 모델의 효율적 전역 최적화를 가능하게 한다.
• 베이지안 최적화에서 사용되는 핵심 추출 함수에 대해 날카롭고 계산 효율적인 완화 기법을 개발하여 수렴 속도를 향상시킨다.
• 기계 학습 및 최적화 분야의 산업 및 연구 응용 분야에 적합한 확장 가능한 오픈소스 구현을 제공한다.

제안 방법

• 분기 및 경계 과정에서 GP 초모수가 아닌 자유도에 대해서만 분기하는 축소된 공간에서 전역 최적화 문제를 수립한다.
• 명시적 GP 모델을 통해 불확실성을 전파하기 위해 McCormick 완화 기법을 적용하여 분기 및 경계 과정에서 엄밀한 경계를 확보한다.
• 일반적인 공분산 함수(예: 제곱 지수형)에 대해 날카운 봉우리 함수를 유도하여 완화 품질 향상과 하위 문제 크기 감소를 도모한다.
• 비단조화적 특성을 보이는 추출 함수—기대 개선도, 개선 가능성 확률, 하한 신뢰 구간—에 대해 볼록 완화를 구성한다.
• 비단조화적 추출 함수에 대해 조각별 선형 하한 근사 및 아핀 외삽 기법을 활용하여 유효하고 날카운 볼록 완화를 생성한다.
• 축소된 공간 수식과 특화된 완화 기법을 활용하는 분기 및 경계 프레임워크에 방법을 통합하여 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 이전에 가능했던 것보다 더 큰 데이터셋에 대해 가우시안 프로세스의 결정론적 전역 최적화가 계산적으로 가능해질 수 있는가?
• RQ2 베이지안 최적화에서 비볼록 추출 함수에 대해 날카롭고 계산 효율적인 완화 기법을 어떻게 구성할 수 있는가?
• RQ3 축소된 공간 수식이 GP-통합 문제의 전역 최적화 확장성에 얼마나 기여하는가?
• RQ4 공분산 함수 및 추출 함수에 대한 특화된 봉우리 함수가 하위 문제의 복잡성과 해법 시간을 상당히 감소시킬 수 있는가?
• RQ5 제안된 방법은 GP 모델에 대한 최첨단 전역 최적화 솔버와 비교해 성능 및 확장성 면에서 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 GP-통합 문제에 대한 최첨단 전역 최적화 접근 방식 대비 계산 시간을 수개월 정도 감소시킨다.
• 축소된 공간 수식은 GP 초모수에 대한 분기 없이 하위 문제의 크기와 계산 비용을 크게 줄여준다.
• 일반적인 공분산 함수 및 추출 함수(예: 기대 개선도)에 대해 유도된 날카운 봉우리 함수는 완화 품질 향상과 수렴 속도 향상을 입증한다.
• 이 방법은 이전에 계산 부담으로 인해 확장성에 제약이 있었던 더 큰 데이터셋에 훈련된 GPs의 결정론적 전역 최적화를 가능하게 한다.
• 이 방법은 전역 추출 함수 최적화 및 확률적 제약 프로그래밍에 성공적으로 적용되어 실용적 확장성을 입증한다.
• GP 모델, 추출 함수, 훈련 스크립트는 MeLOn 툴박스 내에서 오픈소스로 공개되어 재현성 향상과 광범위한 도입을 촉진한다.