[논문 리뷰] Exploration vs Exploitation in Bayesian Optimization

Ali Jalali, Javad Azimi외 1명|arXiv (Cornell University)|2012. 04. 03.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 8

한 줄 요약

이 논문은 립시츠 연속성을 활용한 이중 단계 베이지안 최적화 알고리즘을 제안한다: 정보성 샘플을 선택하여 검색 공간을 빠르게 좁히는 탐색 단계와, 축소된 영역에서 정밀하게 검색을 수행하는 이용 단계로 나뉜다. 실증적으로, 최적값을 찾는 데 필요한 함수 평가 횟수를 크게 줄이며 기대 개선도(Expected Improvement, EI)를 능가한다.

ABSTRACT

The problem of optimizing unknown costly-to-evaluate functions has been studied for a long time in the context of Bayesian Optimization. Algorithms in this field aim to find the optimizer of the function by asking only a few function evaluations at locations carefully selected based on a posterior model. In this paper, we assume the unknown function is Lipschitz continuous. Leveraging the Lipschitz property, we propose an algorithm with a distinct exploration phase followed by an exploitation phase. The exploration phase aims to select samples that shrink the search space as much as possible. The exploitation phase then focuses on the reduced search space and selects samples closest to the optimizer. Considering the Expected Improvement (EI) as a baseline, we empirically show that the proposed algorithm significantly outperforms EI.

연구 동기 및 목표

• 비용이 많이 드는 함수를 최소한의 함수 평가로 최적화하는 데 도전하는 것.
• 알 수 없는 함수의 리프시츠 연속성을 활용하여 베이지안 최적화의 샘플 효율성을 향상시키는 것.
• 탐색(검색 공간 축소)과 이용(국소 정밀화)을 분리하는 구조적인 알고리즘을 설계하는 것.
• 기대 개선도(EI) 기준과의 비교를 통해 실증적으로 우수한 성능을 검증하는 것.

제안 방법

• 알고리즘은 리프시츠 성질에 기반해 탇색 영역 크기를 최소화하는 샘플을 선택하는 독립적인 탐색 단계를 활용한다.
• 리프시츠 상수를 사용해 함수 변동을 제한함으로써 탐색 단계에서 검색 공간을 엄밀하게 축소할 수 있다.
• 탐색 단계 이후, 알고리즘은 축소된 검색 공간에 집중하는 이용 단계로 전환된다.
• 이용 단계 내에서 샘플은 추정된 최적화점에 가장 가까운 곳으로 선택되어 국소 정밀화를 극대화한다.
• 이 방법은 관측된 함수 값과 리프시츠 제약 조건을 바탕으로 한 사후 모델에 의존하여 샘플링 결정을 이끌어낸다.
• 이론적 구조적 분리에 의해 글로벌 검색과 국소 최적화를 분리함으로써 기존의 베이지안 최적화와 대비된다.

실험 결과

연구 질문

• RQ1 탐색과 이용을 분리하는 이중 단계 베이지안 최적화 전략이 샘플 효율성을 향상시킬 수 있는가?
• RQ2 탐색 단계에서 리프시츠 성질을 얼마나 효과적으로 활용하여 검색 공간을 축소할 수 있는가?
• RQ3 구조적으로 글로벌 탐색에서 국소 이용으로의 전이가 기존의 기대 개선도와 비교해 더 나은 수렴 성능을 낼 수 있는가?
• RQ4 함수 평가 횟수 측면에서 제안된 방법이 기대 개선도(EI)와 비교해 정량적으로 어떻게 성능을 냈는가?

주요 결과

• 제안된 알고리즘이 기대 개선도(EI)보다 수렴 속도와 샘플 효율성 측면에서 뚜렷이 뛰어나다.
• 탐색 단계는 리프시츠 제약 조건을 활용해 최적값을 포함할 가능성이 낮은 영역을 제거함으로써 검색 공간을 효과적으로 축소한다.
• 이용 단계는 축소된 검색 공간 내에서 높은 잠재력이 있는 영역에 집중함으로써 더 빠른 수렴을 달성한다.
• 실증 결과는 이중 단계 전략이 EI 대비 필수 함수 평가 횟수를 줄임을 입증한다.