[논문 리뷰] Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces

Fan Zhou, Xinran Han외 1명|arXiv (Cornell University)|2023. 09. 28.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 도메인 특화된 컨텍스트를 계층적 가우시안 프로세스(GP) 사전분포로 매핑하기 위해 신경망을 사전 훈련하는 방법을 통해 이질적인 검색 공간 간의 지식 전이를 가능하게 하는 새로운 전이 학습 방법인 MPHD를 제안한다. MPHD는 새로운 검색 공간에서 최첨단의 샘플 효율성을 달성하며, 이질적 도메인을 가진 하이퍼파rameter 튜닝 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Bayesian optimization (BO) is a popular black-box function optimization method, which makes sequential decisions based on a Bayesian model, typically a Gaussian process (GP), of the function. To ensure the quality of the model, transfer learning approaches have been developed to automatically design GP priors by learning from observations on "training" functions. These training functions are typically required to have the same domain as the "test" function (black-box function to be optimized). In this paper, we introduce MPHD, a model pre-training method on heterogeneous domains, which uses a neural net mapping from domain-specific contexts to specifications of hierarchical GPs. MPHD can be seamlessly integrated with BO to transfer knowledge across heterogeneous search spaces. Our theoretical and empirical results demonstrate the validity of MPHD and its superior performance on challenging black-box function optimization tasks.

연구 동기 및 목표

• 기존 전이 학습 방법이 훈련 함수와 테스트 함수 간에 정렬된 도메인을 요구하는 한계를 해결하기 위해.
• 다양하고 이질적인 검색 공간에서부터 새로운, 알려지지 않은 최적화 작업으로 효과적인 지식 전이를 가능하게 하는 방법을 개발하기 위해.
• BO 트레이젝터리 순서가 필요 없이 순서가 없는 분할된 데이터셋으로부터 도메인 특화된 계층적 GP 사전분포를 학습할 수 있는 사전 훈련 프레임워크를 설계하기 위해.
• 메서드의 이론적 일致성과 이질적 도메인을 가진 실제 하이퍼파rameter 튜닝 벤치마크에서의 성능 검증을 확립하기 위해.

제안 방법

• MPHD는 도메인 특화된 컨텍스트(예: 입력 차원 수, 변수 유형 등)를 계층적 GP 사전분포의 초모수로 매핑하기 위해 신경망을 사전 훈련한다.
• 이 방법은 각 함수의 GP 사전분포를 계층적 분포로 모델링하며, 차원 간 길이 척도와 노이즈 분산에 대해 초모수를 학습한다.
• 다양한 도메인을 가진 다수의 함수에서 구성된 슈퍼 데이터셋이 구축되며, 각 함수의 데이터는 분할되고 해당 도메인 컨텍스트와 연결된다.
• 신경망은 도메인 컨텍스트를 기반으로 사전분포 초모수(예: 길이 척도의 평균 및 분산)를 예측함으로써 새로운 도메인으로의 일반화를 가능하게 한다.
• 추론 단계에서는 사전 훈련된 모델이 테스트 함수의 도메인 컨텍스트를 바탕으로 맞춤형 계층적 GP 사전분포를 생성하며, 이는 표준 BO와 획득 함수에 사용된다.
• 이 프레임워크는 BO 트레이젝터리 순서가 필요 없으며, 각 함수에 대해 분할된 데이터와 관련 도메인 메타데이터만 필요로 한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 서로 다른, 겹치지 않는 검색 공간을 가진 함수들 간의 전이 학습이 일반화될 수 있는가?
• RQ2 도메인 정렬이 필요 없이 다양한 도메인에서 효과적인 GP 사전분포를 통합된 모델이 학습할 수 있는 방법은 무엇인가?
• RQ3 훈련 데이터가 증가함에 따라 MPHD가 수렴성과 일치성에 대해 어떤 이론적 보장을 제공하는가?
• RQ4 이질적 도메인을 가진 실제 하이퍼파라미터 튜닝 작업에서 MPHD는 기존 BO 방법들보다 샘플 효율성이 뛰어나게 되는가?
• RQ5 다른 도메인을 가진 함수 세트로 사전 훈련한 후, MPHD는 알려지지 않은 검색 공간으로 일반화될 수 있는가?

주요 결과

• PD1 벤치마크에서 테스트 검색 공간에 대해 사전 훈련되지 않은 방법들 중에서 MPHD가 가장 뛰어난 성능을 기록했으며, NToT 설정에서 전문화된 동일 도메인 메타-BO 방법들조차도 앞서는 성과를 보였다.
• HPO-B 벤치마크에서 MPHD는 알려지지 않은 검색 공간으로의 강력한 일반화 능력을 보였으며, 기준 방법들에 비해 샘플 효율성이 뚜렷이 향상되었다.
• 메서드는 渐近적 일치성을 보였으며, 훈련 함수의 수가 증가함에 따라 진짜 사전분포로 수렴했다.
• 여러 테스트 함수에 걸쳐 정규화된 단순 회귀 오차 측면에서 MPHD는 표준 GP 및 수작업으로 지정된 계층적 GP 기준선을 모두 능가했다.
• HPO-B로 사전 훈련한 MPHD는 PD1 데이터셋으로도 성공적으로 일반화되어, 교차 도메인 전이 능력을 입증했다.
• 도메인 특화된 컨텍스트의 포함으로 인해 입력 차원 수와 변수 유형이 다른 함수들 간에도 효과적인 사전분포 전이가 가능했다.