[논문 리뷰] Practical Batch Bayesian Optimization for Less Expensive Functions

Loc Nguyen, Sunil Gupta외 3명|arXiv (Cornell University)|2018. 11. 05.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 3

한 줄 요약

이 논문은 평가 비용이 높지 않은 블랙박스 함수를 위한 실용적인 배치 베이지안 최적화 방법인 UCB-DE를 제안한다. Sobol 수열에 의해 유도되는 거리 기반 탐색 전략을 사용하여 각 배치 포인트에 대한 고비용의 전역 최적화를 피한다. 이는 계산 시간을 크게 줄이며, 기존의 BUCB 대비 최대 6배 빠른 성능을 기록하면서도 경쟁 가능한 수렴 성능을 유지한다. 특히 평가 비용이 낮거나 중간 수준인 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Bayesian optimization (BO) and its batch extensions are successful for optimizing expensive black-box functions. However, these traditional BO approaches are not yet ideal for optimizing less expensive functions when the computational cost of BO can dominate the cost of evaluating the blackbox function. Examples of these less expensive functions are cheap machine learning models, inexpensive physical experiment through simulators, and acquisition function optimization in Bayesian optimization. In this paper, we consider a batch BO setting for situations where function evaluations are less expensive. Our model is based on a new exploration strategy using geometric distance that provides an alternative way for exploration, selecting a point far from the observed locations. Using that intuition, we propose to use Sobol sequence to guide exploration that will get rid of running multiple global optimization steps as used in previous works. Based on the proposed distance exploration, we present an efficient batch BO approach. We demonstrate that our approach outperforms other baselines and global optimization methods when the function evaluations are less expensive.

연구 동기 및 목표

• 함수 평가 비용이 매우 높지 않은 상황에서 배치 베이지안 최적화의 격차를 보완하기 위해.
• 계산 오버헤드를 최소화하면서도 효과적인 탐색과 이용을 유지하는 확장 가능한 배치 BO 알고리즘을 설계하기 위해.
• 각 배치 포인트에 대한 반복적인 전역 최적화를 제거하고, 단일 전역 최적화 단계 이후 Sobol 수열을 통한 공간 충진 전략을 도입하기 위해.
• 시뮬레이터 기반 실험과 획득 함수 최적화와 같은 실제 응용 사례에서 평가 비용이 중간 수준인 환경에서 방법을 검증하기 위해.
• 낮은 평가 비용 환경에서 최적화 성능을 희생시키지 않고도 계산 효율성을 크게 향상시킬 수 있는지 입증하기 위해.

제안 방법

• 기존 관측치로부터의 기하학적 거리 기반 탐색 전략을 제안하여 탐색을 장려하는 새로운 거리 기반 탐색(DE) 전략을 도입한다.
• 다중 전역 최적화 단계를 대체하기 위해 Sobol 수열을 활용해 관측 위치에서 멀리 떨어진 공간 충진 포인트를 효율적으로 생성한다.
• UCB-DE를 도입한다: 첫 번째 포인트는 표준 UCB 획득 함수를 통해 선택하고, 나머지 포인트는 Sobol 수열을 사용한 DE 전략으로 선택한다.
• Sobol 수열의 낮은 불균형성 특성을 활용하여 각 포인트에 대해 GP 모델을 재학습하지 않고도 검색 공간의 균일한 커버리지 확보를 가능하게 한다.
• 각 배치 포인트에 대한 반복적인 GP 사후 분포 업데이트와 복잡한 최적화를 피함으로써, BUCB, DPP, LP 방법 대비 계산 비용을 감소시킨다.
• 첫 번째 포인트는 UCB를 통해 단일 전역 최적화로 선택하고, 나머지 포인트는 Sobol 수열을 통한 결정론적 샘플링을 활용하여 빠르고 확장 가능한 배치 생성을 실현한다.

실험 결과

연구 질문

• RQ1 함수 평가 비용이 매우 높지 않은 상황에서 계산 비용이 주요 문제로 작용하는 경우, 계산 효율성이 뛰어난 배치 베이지안 최적화 방법을 설계할 수 있는가?
• RQ2 Sobol 수열을 활용한 거리 기반 탐색 전략이 낮은 평가 비용 환경에서의 배치 선택에 있어 반복적인 전역 최적화보다 우수한 성능을 보일 수 있는가?
• RQ3 단일 전역 최적화 단계 이후 결정론적 공간 충진 전략이 기존의 배치 BO 방법들보다 더 높은 계산 효율성을 달성할 수 있는가?
• RQ4 실제 응용 사례에서 평가 비용이 중간 수준인 함수에 대해, 제안된 UCB-DE 방법은 기준 방법들 대비 수렴 속도와 최적화 성능 면에서 어떻게 비교되는가?
• RQ5 Sobol 수열의 사용이 배치 베이지안 최적화에서 계산 비용을 줄이면서도 탐색 품질을 유지하는 데 어느 정도 기여하는가?

주요 결과

• 모든 벤치마크 및 실제 응용 사례에서 UCB-DE는 최적화 성능이 가장 뛰어나면서도 가장 짧은 시간에 성능을 달성하여 BUCB, L-BFGS-B, Direct 방법을 모두 능가한다.
• PES 획득 함수 최적화 사례에서, 동일한 최적 값에 도달하기 위해 최적화 시간을 800초에서 100초로 단축하여 6배의 속도 향상을 달성한다.
• 배치 크기가 증가함에 따라 UCB-DE의 계산 시간은 거의 일정하게 유지되지만, BUCB는 반복적인 전역 최적화 단계로 인해 시간이 크게 증가한다.
• 6차원 Hartmann 함수 실험에서 UCB-DE는 BUCB 대비 3~6배 빠르며, 최적 값으로의 수렴은 동등하거나 더 우수한 성능을 기록한다.
• 고차원 설정(차원 수 d=10)에서도 뛰어난 성능을 유지하여 강건성과 확장성을 입증한다.
• UCB를 사용한 무작위 탐색(UKB-Rand)은 놀랍도록 잘 작동하지만, 특히 복잡하거나 고차원 문제에서는 UCB-DE가 속도와 정확도 면에서 여전히 뛰어나다.