[논문 리뷰] Few-Shot Bayesian Optimization with Deep Kernel Surrogates

Martin Wistuba, Josif Grabocka|arXiv (Cornell University)|2021. 01. 19.

Machine Learning and Data Classification참고 문헌 25인용 수 6

한 줄 요약

이 논문은 딥 커널 서rogate를 사용하는 소수 샘플 베이지안 최적화(FSBO)를 제안한다. 메타학습된 딥 커널 가우시안 프로세스는 공통 초기화로부터 시작하여 소수의 평가를 통해 새로운 하이퍼파rameter 최적화 작업에 빠르게 적응하도록 미세조정된다. 이 방법은 커널 파라미터의 엔드 투 엔드 메타학습과 베이지안 최적화를 위한 데이터 기반 온도 시작(initialization)을 조합함으로써 다양한 HPO 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Hyperparameter optimization (HPO) is a central pillar in the automation of machine learning solutions and is mainly performed via Bayesian optimization, where a parametric surrogate is learned to approximate the black box response function (e.g. validation error). Unfortunately, evaluating the response function is computationally intensive. As a remedy, earlier work emphasizes the need for transfer learning surrogates which learn to optimize hyperparameters for an algorithm from other tasks. In contrast to previous work, we propose to rethink HPO as a few-shot learning problem in which we train a shared deep surrogate model to quickly adapt (with few response evaluations) to the response function of a new task. We propose the use of a deep kernel network for a Gaussian process surrogate that is meta-learned in an end-to-end fashion in order to jointly approximate the response functions of a collection of training data sets. As a result, the novel few-shot optimization of our deep kernel surrogate leads to new state-of-the-art results at HPO compared to several recent methods on diverse metadata sets.

연구 동기 및 목표

• 소수의 평가로도 신속한 적응이 가능하도록 하이퍼파rameter 최적화를 소수 샘플 학습 문제로 재정의하기.
• 메타학습을 통해 여러 작업 간에 일반화 가능한 스케일러블하고 공유되는 딥 커널 서rogate 모델 개발하기.
• 커널 파라미터의 엔드 투 엔드 메타최적화를 통한 전이 학습을 활용해 베이지안 최적화 수렴을 향상시키기.
• 메타학습된 서rogate 모델을 사용해 데이터 기반 온도 시작 초기화를 제공하여 베이지안 최적화에 활용하기.
• 통계적으로 유의미한 성과 향상을 이끌어내기 위해 기존 전이 학습 베이스라인을 초월하기.

제안 방법

• 딥 커널 네트워크를 가우시안 프로세스 서rogate로 사용하며, 신경망 구성 요소는 모든 작업에 공유된다.
• 모델은 메타학습을 통해 메타작업의 집합에서 커널 파라미터를 초기화하여 신속한 적응을 가능하게 한다.
• 신규 타겟 작업에 대한 적응을 위해 추론 중에 딥 커널을 미세조정한다.
• 온도 시작 초기화는 메타학습된 서rogate를 사용해 초기 베이지안 최적화 점을 안내함으로써 생성된다.
• 소수 샘플 학습 파라다임을 사용하여 작업 간에 서rogate의 커널 하이퍼파라미터를 함께 최적화한다.
• 메타학습 중에 작업별 전용 파라미터를 통합함으로써 각 작업별 모델 성장 방지를 방지한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 최적화는 소수 샘플 학습 문제로 효과적으로 재구성될 수 있는가?
• RQ2 공유되는 딥 커널 서rogate 모델은 소수의 평가로 새로운 작업에 신속히 적응할 수 있도록 메타학습될 수 있는가?
• RQ3 고정되거나 무작위로 초기화된 서rogate와 비교해 커널 파라미터의 엔드 투 엔드 메타학습이 베이지안 최적화 수렴을 향상시키는가?
• RQ4 제안된 온도 시작 초기화는 베이지안 최적화에서 무작위 또는 라틴 하이퍼큐브 샘플링과 비교해 어떻게 성능을 냈는가?
• RQ5 소수 샘플 적응 과정에서 딥 커널을 미세조정하는 것과 단지 초기화만 하는 것의 기여도는 각각 어떠한가?

주요 결과

• FSBO는 여러 하이퍼파라미터 최적화 벤치마크에서 최신 기술 수준 성능을 달성하며, 최근 ICLR 및 NeurIPS 베이스라인을 통계적으로 유의미하게 뛰어넘는다.
• 딥 커널 파라미터의 미세조정은 적응을 크게 향상시키며, 메타학습된 네트워크에서 유도된 강력한 사전 분포로 인한 조기 이용을 방지한다.
• 서rogate 모델에서 유도된 온도 시작 초기화는 GLMNet 및 SVM 작업에서 특히 두드러지게 랜덤 및 라틴 하이퍼큐브 샘플링을 능가한다.
• 고정된 신경망 가중치를 사용하는 멀티헤드 GP 베이스라인은 성능이 열악하여, 파라미터 적응이 효과적인 전이를 위해 필수적임을 시사한다.
• 메타학습된 파라미터 공유 덕분에 메타학습된 모델은 작업 수가 증가하더라도 복잡도가 증가하지 않아 스케일링에 매우 잘 맞는다.
• 제거 실험 결과는 메타학습, 미세조정, 온도 시작 각각의 구성 요소가 상호 독립적이고 유의미하게 최종 성능에 기여함을 확인한다.