[논문 리뷰] Knowing The What But Not The Where in Bayesian Optimization

Loc Nguyen, Michael A. Osborne|arXiv (Cornell University)|2019. 05. 07.

Advanced Bandit Algorithms Research참고 문헌 45인용 수 11

한 줄 요약

이 논문은 하이퍼파rameter 튜닝에서 수렴 속도를 향상시키기 위해 알려진 최적 출력 값 $f^*$를 활용하는 새로운 베이지안 최적화 프레임워크를 제안한다. $f^*$ 제약 조건을 만족하도록 가우시안 프로세스 서rogate를 변형하고, 두 가지 새로운 확보 함수—신뢰구간 최소화 및 기대 손실 최소화—를 도입함으로써, 심층 강화 학습과 XGBoost 튜닝을 포함한 합성 및 실제 응용 벤치마크에서 표준 BO 방법보다 더 빠른 수렴을 달성한다.

ABSTRACT

Bayesian optimization has demonstrated impressive success in finding the optimum input x* and output f* = f(x*) = max f(x) of a black-box function f. In some applications, however, the optimum output f* is known in advance and the goal is to find the corresponding optimum input x*. In this paper, we consider a new setting in BO in which the knowledge of the optimum output f* is available. Our goal is to exploit the knowledge about f* to search for the input x* efficiently. To achieve this goal, we first transform the Gaussian process surrogate using the information about the optimum output. Then, we propose two acquisition functions, called confidence bound minimization and expected regret minimization. We show that our approaches work intuitively and give quantitatively better performance against standard BO methods. We demonstrate real applications in tuning a deep reinforcement learning algorithm on the CartPole problem and XGBoost on Skin Segmentation dataset in which the optimum values are publicly available.

연구 동기 및 목표

• 최적 출력 $f^*$는 알려져 있으나 입력 $\mathbf{x}^*$는 알려져 있지 않은 상황에서 베이지안 최적화의 격차를 해소하기 위해.
• 서로서티브 모델을 개발하여 $f(\mathbf{x}) \leq f^*$ 제약 조건을 강제 적용함으로써 진짜 목표 함수에 대한 정밀도를 향상시키기 위해.
• 최적의 $f^*$를 능동적으로 활용하여 탐색 노력과 수렴 속도를 줄이기 위한 확보 함수를 설계하기 위해.
• 공개적으로 알려진 $f^*$가 존재하는 벤치마크 함수와 실제 응용에서 방법을 검증하기 위해.

제안 방법

• 알려진 $f^*$에 조건을 줘서 가우시안 프로세스 서rogate를 변형함으로써, 사후 평균과 분산이 $f^*$ 상한선을 존중하도록 보장하기 위해.
• 신뢰구간 최소화 확보 함수를 도입하여 $f^*$ 근처에서 불확실성이 낮은 영역을 목표로 삼기 위해.
• 기대 손실 최소화(ERM) 확보 함수를 제안하여 $f^*$에 대한 기대 손실을 명시적으로 최소화하기 위해.
• 변형된 GP를 사용해 확보 함수 값을 계산함으로써, $f^*$를 고려한 정보 기반의 쿼리 선택을 가능하게 하기 위해.
• 합성 함수와 공개적으로 알려진 최적값이 존재하는 실제 하이퍼파rameter 튜닝 작업에 모두 이 방법을 적용하기 위해.
• 수렴 속도와 손실을 지표로 삼아 표준 BO 기준선(예: 기대 개선도)과 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 알려진 최적 출력 $f^*$가 최적 입력 $\mathbf{x}^*$를 찾는 데 있어 베이지안 최적화 효율성을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 GP 서rogate에 $f^*$를 통합함으로써 모델 정확도와 최적화 수렴에 어떤 영향을 미치는가?
• RQ3 신뢰구간 최소화 및 기대 손실 최소화와 같은 $f^*$ 인식 확보 함수가 표준 확보 함수를 능가하는가?
• RQ4 모델의 $f^*$를 잘못 지정하는 것이 제안된 방법의 성능에 어떤 영향을 미치는가?
• RQ5 실제 하이퍼파rameter 튜닝에서 최적 보상 또는 정확도가 사전에 알려져 있을 경우, 제안된 방법은 어떻게 스케일링되는가?

주요 결과

• 제안된 기대 손실 최소화(ERM) 확보 함수가 벤치마크 함수와 실제 응용 모두에서 표준 기대 개선도를 포함한 모든 기준선을 능가한다.
• 알려진 $f^*=200$을 가진 CartPole DRL 작업에서 ERM는 20회 반복 내에 최적 성능에 도달했으며, 기준선보다 훨씬 빠르게 수렴했다.
• XGBoost 스킨 세그멘테이션 작업에서, 이 방법은 표준 BO 방법보다 더 적은 평가 수로 알려진 최적값에 수렴했다.
• $f^*$를 잘못 지정하는 것—특히 과소 평가하는 것—은 과대 평가하는 것보다 성능 저하가 더 심각한데, 이는 부분 최적 영역으로 조기 수렴하기 때문이다.
• 변형된 GP 서rogate는 효과적으로 $f^*$ 제약 조건을 강제 적용하여 모델 정밀도를 향상시키고 더 빠른 수렴을 가능하게 했다.
• 강화 학습 및 분류 정확도 튜닝과 같이 $f^*$가 사전에 알려져 있는 실제 환경에서 본 방법은 강건성과 실용성을 입증했다.