[논문 리뷰] Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs

Raul Astudillo, Daniel Jiang외 3명|arXiv (Cornell University)|2021. 11. 12.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 5

한 줄 요약

이 논문은 평가 비용이 알려져 있지 않고 이질적인 상황에서 범용 최적화에 대한 비모호한, 예산 제약이 있는 다단계 기대 향상 확보 기능을 제안한다. 다단계에 걸쳐 함수 향상과 비용 인식을 동시에 최적화함으로써, 특히 비용을 학습하는 데 비용이 많이 들고 총 예산으로 제약을 받는 경우, 기존의 표준 방법들인 기대 향상과 단위 비용당 기대 향상보다 뛰어난 성능을 보인다.

ABSTRACT

Bayesian optimization (BO) is a sample-efficient approach to optimizing costly-to-evaluate black-box functions. Most BO methods ignore how evaluation costs may vary over the optimization domain. However, these costs can be highly heterogeneous and are often unknown in advance. This occurs in many practical settings, such as hyperparameter tuning of machine learning algorithms or physics-based simulation optimization. Moreover, those few existing methods that acknowledge cost heterogeneity do not naturally accommodate a budget constraint on the total evaluation cost. This combination of unknown costs and a budget constraint introduces a new dimension to the exploration-exploitation trade-off, where learning about the cost incurs the cost itself. Existing methods do not reason about the various trade-offs of this problem in a principled way, leading often to poor performance. We formalize this claim by proving that the expected improvement and the expected improvement per unit of cost, arguably the two most widely used acquisition functions in practice, can be arbitrarily inferior with respect to the optimal non-myopic policy. To overcome the shortcomings of existing approaches, we propose the budgeted multi-step expected improvement, a non-myopic acquisition function that generalizes classical expected improvement to the setting of heterogeneous and unknown evaluation costs. Finally, we show that our acquisition function outperforms existing methods in a variety of synthetic and real problems.

연구 동기 및 목표

• 검색 공간 전반에서 평가 비용이 알려져 있지 않고 매우 다양할 때 베이지안 최적화의 격차를 해결하기 위해.
• 총 예산 제약 조건 하에서 탐색, 이용, 비용 학습의 균형을 이루는 문제를 체계화하기 위해.
• 함수 향상과 비용 이질성에 대해 다단계에 걸쳐 고려하는 원칙적인 비모호한 확보 기능을 개발하기 위해.
• 기존의 확보 기능들인 기대 향상과 단위 비용당 기대 향상이 이 설정에서 임의로 열등해질 수 있음을 입증하기 위해.

제안 방법

• 기존 기대 향상 기능을 확장하여 알려져 있지 않고 이질적인 평가 비용을 처리할 수 있는 새로운 확보 기능인 예산 제약 다단계 기대 향상(BMSEI)을 제안한다.
• 각 단계에서 기대 함수 향상과 누적 비용을 모두 고려하는 다단계 순차적 의사결정 문제로 최적화 과정을 모델링한다.
• 초기에는 알려져 있지 않은 목적 함수와 평가 비용을 함께 모델링하기 위해 확률적 모델(GP 사전)을 사용한다.
• 모든 단계의 기대 총 비용을 사전에 정해진 한도로 제한함으로써 예산 제약 조건을 도입하여 비용 인식 계획을 강제한다.
• 미래의 다수의 확보를 고려한 전망 전략을 사용하여 비모호한 의사결정을 가능하게 한다.
• 비용 불확실성 하에서 기대 향상에 대한 분석적 근사치를 유도하여 확보 기능 최적화의 효율성을 높인다.

실험 결과

연구 질문

• RQ1 평가 비용이 알려져 있지 않고 이질적인 경우, 기대 향상과 단위 비용당 기대 향상과 같은 기존의 확보 기능이 임의로 열등해질 수 있는가?
• RQ2 비용 학습과 함수 향상에 대해 다단계적이고 예산 제약이 있는 방식으로 추론할 수 있는 베이지안 최적화 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 비용 이질성과 알려지지 않은 비용은 표준 베이지안 최적화 방법의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 다단계 예산 제약 확보 기능은 수렴 속도와 최종 솔루션 품질 측면에서 기준 방법과 어떻게 비교되는가?
• RQ5 제안된 방법은 실세계 하이퍼파rameter 튜닝 및 시뮬레이션 기반 최적화 과제에서 최첨단 기법들보다 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 예산 제약 다단계 기대 향상 확보 기능은 합성 문제와 실세계 최적화 문제 모두에서 표준 기대 향상과 단위 비용당 기대 향상보다 뚜렷이 뛰어난 성능을 보였다.
• 특히 평가 비용이 매우 다양하고 초깃값이 알려져 있지 않은 경우, 동일한 예산 제약 조건 하에서 전역 최적해에 더 빨리 수렴하는 것으로 나타났다.
• 실험 결과는 확보 기능의 비모호한 성격이 더 효율적인 비용 배분과 높은 성능 영역의 신속한 발견을 이끌어낸다는 점을 보여주었다.
• 비용이 많이 드는 영역에 대한 학습과 알려진 높은 성능 영역의 이용 사이의 균형을 효과적으로 유지하여 낭비된 평가를 줄였다.
• 하이퍼파rameter 튜닝 및 물리 기반 시뮬레이션 과제에서, 제안된 방법은 기준 방법들에 비해 최적 성능에 도달하기 위한 평가 횟수를 줄였다.