[논문 리뷰] Dynamic Batch Bayesian Optimization

Javad Azimi, Ali Jalali외 1명|arXiv (Cornell University)|2011. 10. 14.

Machine Learning and Algorithms참고 문헌 9인용 수 6

한 줄 요약

이 논문은 순차적 베이지안 최적화의 속도를 높이기 위해 반복마다 배치 크기를 적응적으로 변화시키는 동적 배치 베이지안 최적화(Dynamic Batch Bayesian Optimization)를 제안한다. 기대 향상(Expected Improvement)에 의해 예측된 거의 독립적인 실험들을 식별하여 이를 동시에 실행함으로써 순차적 방법에 비해 성능 저하 없이 최대 18.4%의 속도 향상을 달성한다. 실제 및 시뮬레이션 기반 벤치마크에서 검증되었다.

ABSTRACT

Bayesian optimization (BO) algorithms try to optimize an unknown function that is expensive to evaluate using minimum number of evaluations/experiments. Most of the proposed algorithms in BO are sequential, where only one experiment is selected at each iteration. This method can be time inefficient when each experiment takes a long time and more than one experiment can be ran concurrently. On the other hand, requesting a fix-sized batch of experiments at each iteration causes performance inefficiency in BO compared to the sequential policies. In this paper, we present an algorithm that asks a batch of experiments at each time step t where the batch size p_t is dynamically determined in each step. Our algorithm is based on the observation that the sequence of experiments selected by the sequential policy can sometimes be almost independent from each other. Our algorithm identifies such scenarios and request those experiments at the same time without degrading the performance. We evaluate our proposed method using the Expected Improvement policy and the results show substantial speedup with little impact on the performance in eight real and synthetic benchmarks.

연구 동기 및 목표

• 고정된 배치 크기를 사용하는 베이지안 최적화의 비효율성 문제를 해결하기 위해 순차 정책에 비해 성능이 열 劣하는 문제를 해결한다.
• 실험이 비용이 많이 들고 동시에 실행이 가능한 상황에서 순수하게 순차적인 베이지안 최적화의 시간 효율성 문제를 해결한다.
• 미래의 순차적 선택에서의 독립성에 기반해 배치 크기를 지능적으로 변화시키는 동적 배치 선택 전략을 개발한다.
• 적응적인 병렬화를 통해 총 실험 시간을 크게 줄이면서도 순차적 베이지안 최적화 수준의 성능를 유지한다.

제안 방법

• 알고리즘은 각 반복 $ t $ 에서 기대 향상(EI)에 의해 다음 $ p_t $ 개의 실험이 약간의 상관관계를 가지는지의 가능성을 기반으로 동적으로 배치 크기 $ p_t $ 를 결정한다.
• 알고리즘은 알려지지 않은 함수를 모델링하기 위해 가우시안 프로세스(GP) 회귀를 사용하며, 예측 평균 $ \mu_i^* $ 와 분산 $ \sigma_i^{*2} $ 를 계산함으로써 향후 불확실성 감소를 분산 기반으로 예측한다.
• 알고리즘은 정리 1을 적용하여 후보 배치 $ \boldsymbol{x}^* $ 에서 샘플링 후 기대 분산 감소량 $ \Delta^*(\sigma_z) $ 를 계산하며, 커널 함수와 행렬 연산을 사용한다.
• 예측 평균 $ \Delta^*(\mu_z) $ 와 분산 $ \Delta^*(\sigma_z) $ 의 변화를 추정하여 순차적 EI 선택의 독립성을 평가하며, 분산 감소가 크고 평균 변화가 작은 배치를 식별한다.
• 알고리즘은 성능 저하를 최소화하기 위해 임계값 $ \epsilon $ 을 사용하여 점들의 집합이 안전하게 배치로 묶일 수 있는지 판단한다.
• 고정-M 및 적응형-M( $ (1+\alpha)y_{\text{max}} $ 를 통한) 기대 향상 정책과 통합되어 탄력적인 성능 평가를 지원한다.

실험 결과

연구 질문

• RQ1 동적 배치 선택 전략은 순차적 방법에 비해 성능 저하 없이 베이지안 최적화의 효율성을 향상시킬 수 있는가?
• RQ2 반복마다 배치 크기를 어떻게 적응적으로 결정할 수 있는가? 이는 병렬 처리를 극대화하면서도 최적성은 유지해야 한다.
• RQ3 미래의 EI로 선택된 점들의 독립성을 가우시안 프로세스 후행 분산과 평균 변화를 사용해 얼마나 정확히 예측할 수 있는가?
• RQ4 실제 및 시뮬레이션 기반 벤치마크에서 고정 또는 순차 정책 대비 동적 배치 크기를 사용했을 때 기대되는 속도 향상은 어느 정도인가?
• RQ5 다양한 향상 목표(고정 M 대비 적응형 M) 하에서 동적 배치 BO의 성능는 순차적 BO에 비해 어떻게 비교되는가?

주요 결과

• 적응형 향상 목표($ \alpha = 0.1 $)를 사용할 경우, Hartman(3) 벤치마크에서 제안된 동적 배치 베이지안 최적화는 순차적 베이지안 최적화 대비 최대 18.4%의 속도 향상을 달성한다.
• Rosenbrock(2) 벤치마크에서는 고정 향상 목표를 사용했을 때 16.3%의 속도 향상을 기록하여 단일 전역 최적해를 가진 문제에서 뛰어난 성능를 보였다.
• 모든 벤치마크에서 순차 정책에 비해 성능가 10% 이내를 유지하며, 공격적인 배치 처리에도 불구하고 성능 저하가 최소한임을 나타낸다.
• 실험 수가 많아질수록 속도 향상이 증가한다: $ n_l \geq 20 $ 일 경우 알고리즘이 자주 $ p_t > 1 $ 을 선택하며, $ n_l $ 이 증가함에 따라 최대 배치 크기 5에 가까워진다.
• 시뮬레이션 기반(예: Hartman, Michalewicz) 및 실제 응용 벤치마크(예: 연료 전지, 수소) 모두에서 뚜렷한 속도 향상을 기록하여 광범위한 적용 가능성을 보였다.
• 적응형 향상 목표($ (1+\alpha)y_{\text{max}} $) 의 사용은 고정-M 설정 대비 높은 속도 향상(예: Shekel에서 17.4%)을 이끌어내어 실제 최적화 동역학과 더 잘 부합함을 시사한다.