[논문 리뷰] Hybrid Batch Bayesian Optimization

Javad Azimi, Ali Jalali외 1명|arXiv (Cornell University)|2012. 02. 25.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 44

한 줄 요약

이 논문은 최적화 성능와 시간 효율성의 균형을 맞추기 위해 순차적 평가와 배치 평가 사이를 동적으로 전환하는 하이브리드 배치 베이지안 최적화 알고리즘을 제안한다. 예측 오차를 바탕으로 한 이론적 정지 기준을 사용함으로써 순차적 베이지안 최적화 대비 최대 78%의 속도 향상을 달성하면서 성능 손실를 최소화하였으며, $\tilde{y} = \hat{\mu}$를 사용하는 기존의 배치 방법인 Constant Liar를 뛰어넘는 성능을 보였다.

ABSTRACT

Bayesian Optimization aims at optimizing an unknown non-convex/concave function that is costly to evaluate. We are interested in application scenarios where concurrent function evaluations are possible. Under such a setting, BO could choose to either sequentially evaluate the function, one input at a time and wait for the output of the function before making the next selection, or evaluate the function at a batch of multiple inputs at once. These two different settings are commonly referred to as the sequential and batch settings of Bayesian Optimization. In general, the sequential setting leads to better optimization performance as each function evaluation is selected with more information, whereas the batch setting has an advantage in terms of the total experimental time (the number of iterations). In this work, our goal is to combine the strength of both settings. Specifically, we systematically analyze Bayesian optimization using Gaussian process as the posterior estimator and provide a hybrid algorithm that, based on the current state, dynamically switches between a sequential policy and a batch policy with variable batch sizes. We provide theoretical justification for our algorithm and present experimental results on eight benchmark BO problems. The results show that our method achieves substantial speedup (up to %78) compared to a pure sequential policy, without suffering any significant performance loss.

연구 동기 및 목표

• 함수 평가가 비용이 많이 들 때 베이지안 최적화에서 최적화 성능와 시간 효율성 사이의 상충 관계를 해결하기 위해.
• 모델의 불확실성과 추정 오차에 기반해 순차적 모드에서 배치 모드로 지능적으로 전환하는 하이브리드 알고리즘을 개발하기 위해.
• 모의 결과에 의해 유도되는 편향을 분석하기 위한 이론적 기반을 제공하기 위해.
• 배치 크기 선택을 위한 원칙적인 정지 기준을 도입함으로써 기존의 Constant Liar와 같은 배치 베이지안 최적화 방법을 향상시키기 위해.
• 하이브리드 접근 방식이 순차적 최적화에 가까운 성능를 유지하면서도 반복 횟수를 크게 줄임을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘은 알려지지 않은 함수를 모델링하기 위해 가우시안 프로세스(GP)를 사용하고, 획득 함수로 기대 개선도(Expected Improvement, EI)를 적용한다.
• 각 반복 단계에서 알고리즘은 EI를 사용하여 다음으로 가장 좋은 단일 점을 선택한 후, GP 사후 평균을 사용하여 그 결과를 추정한다.
• 추정 결과의 예측 오차를 바탕으로 한 이론적 정지 기준을 평가하여 현재 배치에 또 다른 점을 추가할지 여부를 동적으로 결정한다.
• 정지 기준은 $\gamma_z \theta_x \leq \epsilon$로 정의되며, $\gamma_z$는 다음으로 가장 좋은 점이 추정 결과에 얼마나 민감한지를 측정하고, $\theta_x$는 추정 오차를 의미한다.
• 조건이 만족되면 알고리즘은 배치에 점을 계속 추가하고, 그렇지 않으면 순차적 모드로 전환한다.
• 이 방법은 초기 단계에서는 높은 불확실성으로 인해 순차적 행동을 자연스럽게 취하고, 후기 단계에서는 낮은 불확실성으로 인해 배치 행동으로 진화하여 가변적인 배치 크기를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모의 기반의 배치 베이지안 최적화에서 함수 결과를 모의함으로써 유도되는 편향을 이론적으로 어떻게 경계할 수 있는가?
• RQ2 배치에 또 다른 점을 추가할 때 순차적 선택 대비 최적화 성능이 크게 떨어지지 않도록 보장하기 위한 조건은 무엇인가?
• RQ3 모델의 불확실성에 기반해 배치 크기를 동적으로 조정하는 하이브리드 접근 방식이 고정 배치 및 순수 순차적 베이지안 최적화보다 우월한 성능를 보일 수 있는가?
• RQ4 모의 결과의 선택(예: $\hat{y} = \hat{\mu}$)이 베이지안 최적화에서 배치 선택의 성능와 안정성에 어떤 영향을 미치는가?
• RQ5 실제 문제와 시뮬레이션 문제에서 하이브리드 알고리즘이 시간 효율성과 최적화 정확성 모두 높은 성능를 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 하이브리드 알고리즘은 벤치마크 문제에서 순차적 베이지안 최적화 대비 최대 78%의 속도 향상을 달성하여 반복 횟수를 크게 줄였다.
• 알고리즘은 순차적 EI와 거의 동일한 최적화 성능를 유지하였으며, 작은 배치 크기에서도 유의미한 성능 저하 없이 안정적인 성능를 보였다.
• 이론적 분석 결과, 배치 내 두 번째 실험과 진정한 순차적 선택 간의 거리는 추정 오차의 제곱근에 비례하는 항으로 상한이 존재함을 밝혔다.
• Constant Liar 히우리즘에서 모의 결과를 사후 평균 $\hat{\mu}$로 설정할 경우 정지 조건 $\gamma_z \theta_x \leq \epsilon$가 더 유리하게 작동함을 확인하여 실무에서의 사용에 대한 정당성을 제시하였다.
• 모의 결과로 $\hat{y} = \hat{\mu}$를 사용하는 $\mu$-Constant Batch 변형은 최신 기술인 Matching 방법과 경쟁 가능한 성능를 보였지만, 계산 복잡도는 훨씬 낮았다.
• 경험적 결과는 하이브리드 알고리즘이 순차적 행동에서 배치 행동으로 효과적으로 전환됨을 확인하였으며, 초기 반복에서는 높은 불확실성으로 인해 순차적 선택이 우선시됨을 보였다.