[논문 리뷰] A hierarchical expected improvement method for Bayesian optimization

Zhehui Chen, Simon Mak외 1명|arXiv (Cornell University)|2019. 11. 17.

Advanced Multi-Objective Optimization Algorithms참고 문헌 49인용 수 12

한 줄 요약

이 논문은 계층적 가우시안 프로세스 모델을 통해 하이퍼파rameter의 불확실성을 통합함으로써 기존의 예상 향상(Expectation Improvement, EI)의 과도한 탐색 경향을 보완하는 계층적 예상 향상(HEI) 프레임워크를 제안한다. HEI는 닫힌 형태의 획득 함수를 유지하면서도 전역 수렴성을 확보하고, 거의 최소 최대율에 가까운 수렴 속도를 달성하여, 시뮬레이션 및 반도체 제조 실험에서 EI 및 기타 방법들을 능가한다.

ABSTRACT

The Expected Improvement (EI) method, proposed by Jones et al. (1998), is a widely-used Bayesian optimization method, which makes use of a fitted Gaussian process model for efficient black-box optimization. However, one key drawback of EI is that it is overly greedy in exploiting the fitted Gaussian process model for optimization, which results in suboptimal solutions even with large sample sizes. To address this, we propose a new hierarchical EI (HEI) framework, which makes use of a hierarchical Gaussian process model. HEI preserves a closed-form acquisition function, and corrects the over-greediness of EI by encouraging exploration of the optimization space. We then introduce hyperparameter estimation methods which allow HEI to mimic a fully Bayesian optimization procedure, while avoiding expensive Markov-chain Monte Carlo sampling steps. We prove the global convergence of HEI over a broad function space, and establish near-minimax convergence rates under certain prior specifications. Numerical experiments show the improvement of HEI over existing Bayesian optimization methods, for synthetic functions and a semiconductor manufacturing optimization problem.

연구 동기 및 목표

• 베이지안 최적화에서 기대 향상(Expectation Improvement, EI)의 과도한 탐색 경향이 전기 수렴을 유도하고 전역 최적해를 찾는 데 실패하는 문제를 해결한다.
• ε-그리디 또는 분산 증가와 같은 임의의 수정 방법에 의존하지 않고 탐색을 개선하기 위한 원리적인 방법을 개발한다.
• 모델 불확실성을 통합하면서도 계산 효율성을 유지하기 위해 닫힌 형태의 획득 함수를 유지한다.
• 비용이 많이 드는 MCMC 샘플링 없이도 완전한 베이지안 최적화를 효율적으로 근사하기 위해 새로운 하이퍼파rameter 추정 방법을 개발한다.
• 특정 사전 분포 가정 하에 전역 수렴성과 거의 최소 최대 수렴 속도에 대한 이론적 보장을 수립한다.

제안 방법

• GP 하이퍼파rameter의 불확실성을 포괄하는 계층적 가우시안 프로세스(GP) 모델을 제안하여 더 견고한 탐색을 가능하게 한다.
• 계층적 사전분포를 통합함으로써 닫힌 형태의 획득 함수를 유도함으로써 MCMC 샘플링이 필요 없도록 한다.
• 완전한 베이지안 추론을 근사하기 위한 두 가지 하이퍼파rameter 추정 방법—최대 우도 추정(Marginal Maximum Likelihood, MMAP)과 데이터 기반 스케일링(Data-Driven Scaling, DSD)—을 도입한다.
• 표준 EI의 과도한 탐색 경향을 계층적 GP 모델을 통해 보정하여, 모델 신뢰도가 높은 영역에서 불확실성을 증가시킨다.
• 획득 함수를 계층적 사후분포 하에서의 기대 향상으로 설정함으로써, 낮은 불확실성임에도 불구하고 최적일 가능성이 있는 영역에서 탐색을 촉진한다.
• 광범위한 목적 함수 클래스에 대해 HEI의 전역 수렴성을 증명하고, 특정 사전 분포 설정 하에서 거의 최소 최대 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 계층적 GP 모델은 베이지안 최적화에서 표준 예상 향상(Expectation Improvement, EI)의 과도한 탐색 경향을 효과적으로 보완할 수 있는가?
• RQ2 제안된 HEI 프레임워크는 개선된 탐색과 수렴성을 달성하면서도 닫힌 형태의 획득 함수를 유지하는가?
• RQ3 적절한 사전 분포 가정 하에 HEI는 전역 수렴성과 거의 최소 최대 수렴 속도를 달성할 수 있는가?
• RQ4 합성 문제 및 실제 문제에서 UCB, SEI, ε-그리디 EI와 같은 기존 방법들과 비교해 HEI의 최적화 성능은 어떠한가?
• RQ5 비용이 많이 드는 MCMC 샘플링 단계 없이도 HEI는 완전한 베이지안 최적화를 효율적으로 근사할 수 있는가?

주요 결과

• HEI-MMAP 및 HEI-DSD는 합성 및 반도체 제조 테스트 케이스에서 UCB-OK, SEI, ε-그리디 EI를 모두 능가하는 목적 함수 최소화 성능을 달성한다.
• 웨이퍼 가열 시뮬레이션에서 HEI 방법들은 목표 온도 600 °F에 더 빠르게 수렴하며, 최소한의 온도 진동을 보였다.
• SEI 및 UCB-OK 방법들은 더 느린 수렴 속도와 더 높은 온도 진동을 보였으며, UCB-OK는 목표 온도에 도달하지 못했다.
• HEI는 광범위한 함수 공간에서 전역 수렴성을 유지하고, 지정된 사전 분포 하에서 거의 최소 최대 수렴 속도를 달성한다.
• HEI 프레임워크는 MMAP 및 DSD 하이퍼파rameter 추정을 통해 MCMC 샘플링 없이도 완전한 베이지안 최적화를 성공적으로 근사한다.
• 수치 실험 결과, HEI가 고차원적이고 비용이 많이 드는 블랙박스 환경에서 EI의 과도한 탐색 경향에 대해 원리적이고 효율적이며 효과적인 보완을 제공한다는 것이 확인되었다.