[논문 리뷰] Parallel Bayesian Global Optimization of Expensive Functions

Jialei Wang, Scott Clark외 2명|arXiv (Cornell University)|2016. 02. 16.

Advanced Multi-Objective Optimization Algorithms참고 문헌 31인용 수 67

한 줄 요약

이 논문은 고비용 함수의 병렬 베이지안 전역 최적화를 위한 확률적 경사하강 기반 방법을 제안하며, 다중점 기대 향상(q-EI)을 위한 편향 없는 경사도 추정기 구축을 위해 무한소 교란 분석(IPA)을 사용한다. 이 방법은 다중 평가에서 효율적이고 확장 가능한 최적화를 가능하게 하며, 특히 GPU 가속을 통해 q ≥ 4일 때 기존의 폐쇄형 방법보다 계산 시간에서 뛰어난 성능을 발휘한다.

ABSTRACT

We consider parallel global optimization of derivative-free expensive-to-evaluate functions, and propose an efficient method based on stochastic approximation for implementing a conceptual Bayesian optimization algorithm proposed by Ginsbourger et al. (2007). At the heart of this algorithm is maximizing the information criterion called the "multi-points expected improvement'', or the q-EI. To accomplish this, we use infinitessimal perturbation analysis (IPA) to construct a stochastic gradient estimator and show that this estimator is unbiased. We also show that the stochastic gradient ascent algorithm using the constructed gradient estimator converges to a stationary point of the q-EI surface, and therefore, as the number of multiple starts of the gradient ascent algorithm and the number of steps for each start grow large, the one-step Bayes optimal set of points is recovered. We show in numerical experiments that our method for maximizing the q-EI is faster than methods based on closed-form evaluation using high-dimensional integration, when considering many parallel function evaluations, and is comparable in speed when considering few. We also show that the resulting one-step Bayes optimal algorithm for parallel global optimization finds high-quality solutions with fewer evaluations than a heuristic based on approximately maximizing the q-EI. A high-quality open source implementation of this algorithm is available in the open source Metrics Optimization Engine (MOE).

연구 동기 및 목표

• 고차원 적분으로 인해 계산 비용이 매우 높은 병렬 베이지안 최적화에서 q-EI 기준을 효율적으로 최대화하는 데 도전한다.
• 병렬 평가 수(q)가 증가함에 따라 성능이 급격히 떨어지는 기존의 폐쇄형 및 히وري스틱 방법의 한계를 극복한다.
• 고차원 및 큰 q 최적화 환경에 적합한 확장 가능하고, 미분 가능하며, 병렬 처리가 가능한 q-EI 최대화 방법을 개발한다.
• 정확한 q-EI 경사도 근사로 인해 고비용 전역 최적화에서 다중 점을 한 번에 베이즈 최적 선택할 수 있도록 한다.
• 실제 응용에 실용적으로 배포할 수 있도록, Metrics Optimization Engine(MOE)에 고성능이고 오픈소스로 구현된 구현체를 제공한다.

제안 방법

• q-EI 목표 함수를 위한 편향 없는 확률적 경사도 추정기 구축을 위해 무한소 교란 분석(IPA)을 사용한다.
• IPA 기반 경사도 추정기를 활용하여 q-EI 표면을 최적화하는 확률적 경사상승 알고리즘을 구현한다.
• 경사도 분산을 줄이고 고정밀도 추정을 보장하기 위해 대규모 반복 수를 가진 몬테카를로 샘플링을 사용한다.
• 몬테카를로 경사도 추정에 내재된 단순 병렬성 특성을 활용하여 GPU 가속을 지원함으로써 q 증가에 따라 확장성 향상을 크게 개선한다.
• 확률적 경사상승에서 감소하는 스텝 사이즈 시퀀스를 적용하여 탐색과 이용의 자동 균형을 이루고 수렴 근처에 집중된 계산 자원 할당을 보장한다.
• CPU 및 GPU 배포를 모두 지원하는 오픈소스 Metrics Optimization Engine(MOE)에 이 방법을 통합하여 실전 환경에서의 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 IPA를 활용한 확률적 경사기반 접근법이 폐쇄형 q-EI 경사도 계산에 대한 편향 없는 확장 가능한 대안을 제공할 수 있는가?
• RQ2 제안된 확률적 경사도 추정기의 계산 복잡도는 기존의 폐쇄형 방법 대비 병렬 평가 수(q) 증가에 따라 어떻게 변화하는가?
• RQ3 IPA 추정기를 사용한 확률적 경사상승 알고리즘이 q-EI 표면의 정류점에 수렴하는가? 이는 이론적 일致성을 보장하는가?
• RQ4 특히 GPU 가속을 활용할 경우, q ≥ 4일 때 폐쇄형 평가보다 더 빠른 계산 시간을 달성할 수 있는가?
• RQ5 해당 방법의 성능은 솔루션 품질과 함수 평가 횟수 측면에서 히وري스틱 q-EI 최대화 전략과 비교해 어떻게 되는가?

주요 결과

• IPA 기반의 확률적 경사도 추정기는 편향이 없으며, 확률적 경사상승 알고리즘이 q-EI 표면의 정류점으로 수렴함을 보장한다.
• GPU 가속을 통한 MOE-qEI 구현체는 q ≥ 4일 때 폐쇄형 방법(Benchmark 2)보다 더 빠른 경사도 계산을 수행하며, q 증가에 따라 훨씬 더 우수한 스케일링 성능을 보인다.
• 단지 10,000개의 몬테카를로 샘플만으로도 경사도 분산이 10⁻⁷ 이하로 유지되어, 계산 비용의 일부에 불과한 비용으로도 고정밀도를 확보한다.
• CPU 전용 버전의 확률적 경사도 추정기조차도 q ≥ 4일 때 GPU 기반 폐쇄형 방법보다 더 빠르게 작동하여 전용 하드웨어 없이도 뛰어난 성능을 발휘한다.
• 히وري스틱 q-EI 최대화 접근법보다 더 낮은 함수 평가 횟수로 더 높은 품질의 최적화 솔루션을 달성한다.
• 확률적 경사도 접근법은 적응형 계산을 가능하게 하여 최적화 초반에는 경사도 추정 작업을 줄이고, 수렴 근처에서는 정밀도에 집중한다.