[논문 리뷰] Transfer Learning for Bayesian Optimization: A Survey

Tianyi Bai, Yang Li외 4명|arXiv (Cornell University)|2023. 02. 12.

Advanced Multi-Objective Optimization Algorithms인용 수 18

한 줄 요약

초기 포인트, 탐색 공간, 대리 모델, 획득 함수에 걸친 베이지안 최적화의 전달 학습 접근법을 분류하고 일반 프레임워크와 응용 사례를 제공하는 포괄적 조사.

ABSTRACT

A wide spectrum of design and decision problems, including parameter tuning, A/B testing and drug design, intrinsically are instances of black-box optimization. Bayesian optimization (BO) is a powerful tool that models and optimizes such expensive "black-box" functions. However, at the beginning of optimization, vanilla Bayesian optimization methods often suffer from slow convergence issue due to inaccurate modeling based on few trials. To address this issue, researchers in the BO community propose to incorporate the spirit of transfer learning to accelerate optimization process, which could borrow strength from the past tasks (source tasks) to accelerate the current optimization problem (target task). This survey paper first summarizes transfer learning methods for Bayesian optimization from four perspectives: initial points design, search space design, surrogate model, and acquisition function. Then it highlights its methodological aspects and technical details for each approach. Finally, it showcases a wide range of applications and proposes promising future directions.

연구 동기 및 목표

• 일반적인 베이지안 최적화에서의 느린 수렴을 동기화하고 형식화하며, 과거 과제가 현재 최적화를 가속화하는 방법을 보여준다.
• BO 구성요소 전반에 걸친 전달 학습 방법의 통일된 분류 체계를 제공한다.
• 새로운 방법 개발을 안내하기 위한 베이지안 최적화를 위한 일반 전달 학습 프레임워크를 제시한다.
• 전이 학습이 강화된 BO의 향후 적용 시나리오와 방향성을 강조한다.

제안 방법

• 전이 학습 방법을 무엇을 전달하고 어떻게 네 BO 네 가지 구성요소 내에서 전달하는지에 따라 분류한다.
• 초기 점수, 평가자, 대리 모델, 획득 함수, 탐색 공간을 연결하는 일반 프레임워크를 제안한다.
• 전이 설정에서 Gaussian Processes, Bayesian Neural Networks, Random Forests, Tree Parzen Estimators를 포함한 대리 설계 옵션을 자세히 다룬다.
• 다중 작업, 앙상블 GP 기반, RL 기반 방법을 포함한 획득 함수 전달에 대해 논의한다.
• 소스 작업 정보를 활용하는 워밍 스타트 및 탐색 공간 설계 기술을 개요한다.

실험 결과

연구 질문

• RQ1 소스 작업(t1..tK)으로부터 어떤 전달 가능한 정보가 타깃 작업(tT)의 BO 성능을 향상시킬 수 있는가?
• RQ2 과도한 비용이나 부정전이를 초래하지 않으면서 교차 작업 정보를 BO 구성요소에 통합하는 방법은?
• RQ3 기존의 전달 학습 BO 방법을 포괄하고 새로운 접근법을 안내하는 일반 프레임워크는 무엇인가?
• RQ4 전이 학습 BO로 가장 큰 이익을 얻을 수 있는 적용 도메인은 무엇이며 이를 실제 문제에 어떻게 설계하는가?

주요 결과

• 본 연구는 초기 포인트, 대리 모델, 획득 함수, 탐색 공간 설계에 걸친 BO 전달 학습 방법의 구조적 분류를 제공한다.
• 선행 과제가 다양한 BO 구성요소를 어떻게 안내할 수 있는지 강조하면서도 이질적 규모와 노이즈 같은 문제를 인정한다.
• 향후 BO 과제 전반에 걸쳐 방법 개발을 안내하는 일반적인 전달 학습 프레임워크를 제안한다.
• 전이 학습 BO가 효과적일 수 있는 다양한 적용 시나리오를 다루고 향후 유망한 방향을 제시한다.