[논문 리뷰] Pre-trained Gaussian Processes for Bayesian Optimization

Zi Wang, George E. Dahl외 6명|arXiv (Cornell University)|2021. 09. 16.

Gaussian Processes and Bayesian Inference인용 수 15

한 줄 요약

이 논문은 관련 작업의 데이터를 사용하여 KL 발산 기반 손실을 통해 가우시안 프로세스 사전분포를 사전학습하는 베이지안 최적화 프레임워크인 HyperBO를 소개한다. 이는 더 효율적인 하이퍼파rameter 튜닝을 가능하게 하며, 복잡한 딥러닝 및 다중작업 벤치마크에서 최신 기준보다 최소 3배 빠른 수렴 속도와 유의미하게 낮은 손실을 달성한다.

ABSTRACT

Bayesian optimization (BO) has become a popular strategy for global optimization of expensive real-world functions. Contrary to a common expectation that BO is suited to optimizing black-box functions, it actually requires domain knowledge about those functions to deploy BO successfully. Such domain knowledge often manifests in Gaussian process (GP) priors that specify initial beliefs on functions. However, even with expert knowledge, it is non-trivial to quantitatively define a prior. This is especially true for hyperparameter tuning problems on complex machine learning models, where landscapes of tuning objectives are often difficult to comprehend. We seek an alternative practice for setting these functional priors. In particular, we consider the scenario where we have data from similar functions that allow us to pre-train a tighter distribution a priori. We detail what pre-training entails for GPs using a KL divergence based loss function, and propose a new pre-training based BO framework named HyperBO. Theoretically, we show bounded posterior predictions and near-zero regrets for HyperBO without assuming the "ground truth" GP prior is known. To verify our approach in realistic setups, we collect a large multi-task hyperparameter tuning dataset by training tens of thousands of configurations of near-state-of-the-art deep learning models on popular image and text datasets, as well as a protein sequence dataset. Our results show that on average, HyperBO is able to locate good hyperparameters at least 3 times more efficiently than the best competing methods on both our new tuning dataset and existing multi-task BO benchmarks.

연구 동기 및 목표

• 도메인 전문 지식이 제한되거나 없을 경우 정보가 풍부한 사전분포를 설정하는 데 도전하는 것.
• 관련 작업의 데이터에서 기능 사전분포를 학습함으로써 사전분포 설정을 자동화하고 전문가의 직관에 의존하는 것을 줄이는 것.
• 가우시안 프로세스를 위한 확장 가능한 데이터 기반 사전분포 학습 프레임워크를 개발하여 베이지안 최적화에서 사후 일반화 성능을 향상시키는 것.
• 사전학습된 GPs가 복잡하고 고차원적인 하이퍼파rameter 튜닝 환경에서 더 나은 최적화 성능을 제공함을 보여주는 것.
• 진짜 GP 사전분포를 알지 못하는 조건에서도 손실과 사후 일致성에 대한 이론적 보장을 제공하는 것.

제안 방법

• 관련 작업의 관측된 함수들과의 기능 분포를 일치시키기 위해 KL 발산 기반 손실 함수를 사용하여 가우시안 프로세스 사전분포를 사전학습한다.
• 수천 개의 딥러닝 모델 구성이 포함된 대규모 다중작업 하이퍼파arameter 튜닝 데이터셋을 사용하여 GP 사전분포를 학습한다.
• 수동으로 설정된 커널이나 사전분포를 대체하여 사전학습된 GP를 베이지안 최적화에서 사전분포로 적용한다.
• 활성 학습과 불확실성 인식 탐색을 위해 사전학습된 GP를 GP-UCB 획득 함수에 통합한다.
• 이론적 분석을 통해 미세한 가정 하에 사후 예측이 유계이며, 모델 잘못 설정이 있을 경우에도 근사적으로 0에 가까운 손실을 달성함을 보여준다.
• 정보 수확량과 상호정보량의 경계를 활용하여 손실을 통제하고 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 관련 작업에서 가우시안 프로세스 사전분포를 사전학습하면 하이퍼파arameter 튜닝에서 베이지안 최적화 성능이 향상되는가?
• RQ2 HyperBO의 성능은 복잡한 딥러닝 환경에서 표준 BO 방법과 무작위 탐색보다 어떻게 다른가?
• RQ3 사전학습된 GPs를 사용할 경우 손실과 사후 정확도에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 사전분포 학습은 전문가가 설정한 커널 하이퍼파aram터의 필요성을 어느 정도 줄이는가?
• RQ5 사전학습된 GPs는 이미지 분류, 자연어 처리, 단백질 서열 모델링 등 다양한 작업 간에 일반화 가능한가?

주요 결과

• HyperBO는 새로운 다중작업 튜닝 데이터셋과 고전적 벤치마크에서 최고의 경쟁 방법보다 최소 3배 더 효율적인 하이퍼파aram터 탐색을 달성한다.
• 사전학습된 GP 사전분포는 특히 초기 최적화 단계에서 비사전학습된 GPs보다 사후 평균과 불확실성 추정치가 훨씬 우수하다.
• 이론적 분석 결과, 진짜 GP 사전분포를 알지 못하는 조건에서도 HyperBO는 근사적으로 0에 가까운 손실과 유계 사후 예측을 달성한다.
• 이 방법은 관련 작업 간의 공통 기능적 구조를 활용하여 손실을 줄이고 샘플 효율성을 향상시킨다.
• 실험 결과, 다양한 딥러닝 구성에서의 사전학습은 이미지, 텍스트, 생물학적 서열 작업 전반에 걸쳐 잘 일반화되는 사전분포를 생성함을 보여준다.
• KL 기반 사전학습 목적함수는 훈련 데이터에서 기능 상관관계와 부드러움 패턴을 효과적으로 포착하여 최적화의 정밀도를 향상시킨다.