[논문 리뷰] A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning

Eric Brochu, Vlad M. Cora외 1명|arXiv (Cornell University)|2010. 12. 12.

Advanced Bandit Algorithms Research참고 문헌 75인용 수 2,138

한 줄 요약

이 튜토리얼은 비용이 큰 비용 함수에 대한 베이지안 최적화에 대한 포괄적인 소개를 제공하며, 가우시안 프로세스 사전, 취득 함수, 그리고 활성 사용자 모델링 및 계층 강화 학습에 적용된 두 가지 확장을 자세히 설명합니다.

ABSTRACT

We present a tutorial on Bayesian optimization, a method of finding the maximum of expensive cost functions. Bayesian optimization employs the Bayesian technique of setting a prior over the objective function and combining it with evidence to get a posterior function. This permits a utility-based selection of the next observation to make on the objective function, which must take into account both exploration (sampling from areas of high uncertainty) and exploitation (sampling areas likely to offer improvement over the current best observation). We also present two detailed extensions of Bayesian optimization, with experiments---active user modelling with preferences, and hierarchical reinforcement learning---and a discussion of the pros and cons of Bayesian optimization based on our experiences.

연구 동기 및 목표

• 비용이 큰 블랙박스 목적 함수를 최대화하기 위한 데이터 효율적 방법으로서의 베이지안 최적화를 소개한다.
• 가우시안 프로세스가 미지의 목적 함수의 대체 모델로 작동하는 방식을 설명한다.
• 탐색과 활용 사이의 균형을 맞춰 평가 지점을 선택하는 취득 함수를 설명한다.
• 선호도와의 활성 사용자 모델링 및 계층 강화 학습으로의 베이지안 최적화 확장을 제시한다.

제안 방법

• 목적 함수에 대한 사전이 관찰로 업데이트되어 f에 대한 포스트를 형성하는 베이지안 프레임워크를 설명한다.
• 평균 m 과 공분산 k를 가진 가우시안 프로세스 사전으로 f를 모델링하고 예측 μ와 σ를 도출한다.
• 다음 평가를 최대화하는 기대 유용성으로 다음 평가를 선택하는 취득 함수(EI, PI, UCB 등)를 정의한다.
• 커널 선택(제곱 지수형, Matérn, ARD) 및 하이퍼파라미터 학습을 논의한다.
• 가우시안 관측 잡음의 처리와 포스트에 대한 영향을 설명한다.
• 취득 함수가 탐색과 이용 사이의 트레이드오프를 가능하게 하는 방식을 보여준다.

실험 결과

연구 질문

• RQ1 비용이 크고 블랙박스인 비용 함수의 전역 최댓값을 베이지안 최적화로 효율적으로 찾을 수 있는가?
• RQ2 실무에서 매끄러운 목적 함수를 모델링하기에 가장 적합한 사전과 커널은 무엇인가?
• RQ3 다양한 취득 함수(EI, PI, UCB)가 탐색과 활용의 균형을 어떻게 수행하는가?
• RQ4 베이지안 최적화를 활성 사용자 모델링과 계층적 강화 학습으로 확장할 수 있는가?

주요 결과

• 베이지안 최적화는 GP 대리모델을 사용하여 f와 그 불확실성을 모델링하고 취득 함수를 통해 샘플링을 안내한다.
• EI, PI, UCB 취득 함수는 탐색과 활용의 균형을 맞추는 실용적 메커니즘을 제공한다.
• ARD 및 Matérn 커널은 함수의 매끄러움과 관련 차원을 식별하는 데 유연성을 제공한다.
• 이 튜토리얼은 선호도와 함께하는 활성 사용자 모델링과 계층적 제어 문제로의 확장을 보여준다.
• 관측의 노이즈는 포스트 업데이트와 취득 결정에 영향을 미친다.