[논문 리뷰] Constrained Bayesian Optimization with Max-Value Entropy Search

Valerio Perrone, Iaroslav Shcherbatyi외 3명|arXiv (Cornell University)|2019. 10. 15.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 16

한 줄 요약

이 논문은 연속적 및 이진 제약 조건을 동시에 처리할 수 있도록 Max-Value Entropy Search를 확장한 제약 조건이 있는 베이지안 최적화 방법인 cMES를 제안한다. 이는 제약 조건이 있는 최적값의 공동 사후 표본 추출을 사용한다. 실제 하이퍼파rameter 최적화에서 기존 방법들인 제약 조건이 있는 기대 개선도(cEI) 및 적응형 백분위수 기반 기준선보다 뛰어난 성능을 보이며, 사후 표본 추출에 대한 평균 필드 근사가 잘못된 독립성 가정을 내포하고 있어 성능이 떨어짐을 보여준다.

ABSTRACT

Bayesian optimization (BO) is a model-based approach to sequentially optimize expensive black-box functions, such as the validation error of a deep neural network with respect to its hyperparameters. In many real-world scenarios, the optimization is further subject to a priori unknown constraints. For example, training a deep network configuration may fail with an out-of-memory error when the model is too large. In this work, we focus on a general formulation of Gaussian process-based BO with continuous or binary constraints. We propose constrained Max-value Entropy Search (cMES), a novel information theoretic-based acquisition function implementing this formulation. We also revisit the validity of the factorized approximation adopted for rapid computation of the MES acquisition function, showing empirically that this leads to inaccurate results. On an extensive set of real-world constrained hyperparameter optimization problems we show that cMES compares favourably to prior work, while being simpler to implement and faster than other constrained extensions of Entropy Search.

연구 동기 및 목표

• 모르는 제약 조건 하에서 베이지안 최적화의 과제를 해결하기 위해, 특히 제약 위반이 비용이 많이 들거나 불가능한 실제 하이퍼파arameter 튜닝 환경에서의 적용을 목적으로 한다.
• 실수값 및 이진 제약 조건 피드백을 모두 처리할 수 있도록 Max-Value Entropy Search(MES)를 일반화한 계산 효율성이 높은 획득 함수를 개발하는 것.
• 기존 제약 조건이 있는 BO 방법을 개선하여 탇성 영역의 더 나은 탐색을 가능하게 하면서도 비가능한 평가를 최소화하는 것.
• 특히 제약 조건이 있는 최적값 $y_\star$에 대한 다양한 표본 추출 전략의 영향을 조사하며, 이는 이전 MES 연구에서 사용된 평균 필드 근사의 타당성에 초점을 맞춘다.

제안 방법

• cMES는 목표 함수의 제약 조건이 있는 최소값에 대한 정보 이득의 기대값을 최대화하는 새로운 정보 이론적 획득 함수를 도입한다.
• 사후 분포의 독립성 가정을 피하기 위해 제약 조건이 있는 최적값 $y_\star$의 공동 사후 표본 추출을 사용하며, 이는 평균 필드 근사가 성능을 떨어뜨린다는 것이 입증된다.
• 목표 함수의 관측 여부에 관계없이 작동하도록 설계되어, 제약 조건을 충족할 때에만 목표 함수가 평가되는 경우에도 대응할 수 있다.
• 획득 함수는 후보 최적값의 이산화된 집합에 대한 몬테카를로 근사와 함께 목표 함수 및 제약 조건 값에서 $y_\star$를 공동으로 표본 추출함으로써 계산된다.
• 기존의 엔트로피 서치 기반 제약 조건이 있는 BO 방법보다 더 단순하고 빠르게 구현할 수 있으며, 同시에 높은 샘플 효율성도 유지한다.
• 이 방법은 이진 제약 조건(예: OOM 실패)과 연속적 제약 조건(예: 지연 시간 제한)이 모두 존재하는 실제 하이퍼파arameter 최적화 문제에서 평가되었다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 최적값 $y_\star$의 공동 표본 추출이 이전 MES에서 사용된 평균 필드 근사보다 더 나은 최적화 성능을 낳는가?
• RQ2 cMES는 제약 조건이 있는 기대 개선도(cEI) 및 적응형 백분위수 방법과 같은 기존 기준선과 비교해 수렴 속도와 타당성 측면에서 어떻게 성능을 내는가?
• RQ3 cMES는 실제 하이퍼파arameter 최적화 환경에서 이진 및 연속적 제약 조건 피드백을 효과적으로 처리할 수 있는가?
• RQ4 표본 추출된 최적값의 수 $|Y^*|$ 는 cMES의 성능에 어떤 영향을 미치는가?
• RQ5 제약 조건과 목표 함수가 독립적으로 평가될 수 있는 경우에도 cMES를 확장할 수 있는가?

주요 결과

• cMES는 10개의 제약 조건이 있는 하이퍼파arameter 최적화 문제에서 평균 순위가 3.08을 기록하며, 제약 조건이 있는 기대 개선도(cEI) 및 기타 기준선보다 뚜렷이 뛰어난 성능을 보였다. 이는 목표 함수가 관측되지 않은 경우의 평균 순위이다.
• $y_\star$ 표본 추출에 평균 필드 근사를 사용할 경우 성능 저하가 심각하게 발생하며, 독립 표본 추출을 사용할 경우 평균 순위가 5.5에서 6.5로 상승함을 확인했다.
• 공동 표본 추출은 최소 2개의 표본조차도 효과적이며, 10개 이상의 표본을 사용할 경우 성능이 정점에 도달함을 보여, 높은 표본 수가 필수적인 것은 아님을 시사한다.
• 간단한 적응형 백분위수 기준선는 cEI를 능가하며 cMES와 경쟁 수준의 성능을 보이며, 향후 연구에서 강력한 기준선로 고려되어야 함을 시사한다.
• cMES는 PESC 및 기타 엔트로피 서치 변형보다 더 뛰어난 성능을 보였으며, 동시에 더 단순하고 빠르게 구현 가능했다.
• 이 방법은 이진 제약 조건 및 실수값 제약 조건 피드백 환경에서 모두 뛰어난 성능을 유지하며, 일반화 능력을 입증했다.