[논문 리뷰] Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning

Valerio Perrone, Huibin Shen외 3명|arXiv (Cornell University)|2019. 09. 27.

Advanced Multi-Objective Optimization Algorithms인용 수 36

한 줄 요약

본 논문은 역사적으로 관련된 문제들로부터 베이지안 최적화의 탐색 공간을 자동으로 설계하여 전이 학습을 가능하게 하며, 검색 영역을 좁히기 위해 box 또는 ellipsoid 기하를 사용하여 최적화를 가속화한다.

ABSTRACT

Bayesian optimization (BO) is a successful methodology to optimize black-box functions that are expensive to evaluate. While traditional methods optimize each black-box function in isolation, there has been recent interest in speeding up BO by transferring knowledge across multiple related black-box functions. In this work, we introduce a method to automatically design the BO search space by relying on evaluations of previous black-box functions. We depart from the common practice of defining a set of arbitrary search ranges a priori by considering search space geometries that are learned from historical data. This simple, yet effective strategy can be used to endow many existing BO methods with transfer learning properties. Despite its simplicity, we show that our approach considerably boosts BO by reducing the size of the search space, thus accelerating the optimization of a variety of black-box optimization problems. In particular, the proposed approach combined with random search results in a parameter-free, easy-to-implement, robust hyperparameter optimization strategy. We hope it will constitute a natural baseline for further research attempting to warm-start BO.

연구 동기 및 목표

• Bayesian optimization(BO)을 위한 관련 HPO 작업 간 지식 이전의 과제를 동기 부여하고 다룬다.
• 과거 평가에서 데이터를 학습하여 BO의 효율성을 향상시키는 컴팩트한 탐색 공간을 학습하는 데이터 기반 방법을 제안한다.
• 탐색 공간을 학습시키는 것이 다양한 BO 알고리즘과 표현에 대해 전달 학습을 가능하게 한다는 것을 보여준다.
• 전통적인 직사각형 탐색 공간을 넘는 기하학적 표현(상자(box)와 타원체(ellipsoid))을 탐구한다.

제안 방법

• 과거의 관련 작업들에서 얻은 최적 구성들로부터 reduced search space를 함수로 정의한다.
• 과거의 최소값을 포함하도록 제약 조건 최적화를 통해 공간을 학습하는 것을 최소 부피화와 함께 구성한다(박스: l과 u; 타원체: A와 b).
• 박스의 경우, 모든 t에 대해 l ≤ x_t^* ≤ u 를 만족시키며 1/2 ||u-l||^2의 최소화를 해결하고 해는 닫힌 형태로 l* = min_t x_t^*, u* = max_t x_t^*이다.
• 타원체의 경우, Löwner–John 문제를 해결하여 min log det(A^{-1})를 만족시키되 모든 t에 대해 ||A x_t^* + b||_2 ≤ 1인 것을 찾으며 해는 고유하며 interior-point 방법(CVXPY)을 통해 구한다.
• 타원체의 경우 X ∩ ĤX(θ_e^*)에서 균일하게 추출되도록 재난수 샘플링(rejection sampling)으로 샘플링을 적응한다.
• (4)와 (6)에서 슬랙 변수(outliers)들을 도입하여 공간의 확장(부피 증가)을 페널티하고 다수의 인라이어를 보유하도록 tighter한 공간을 자동으로 선택한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 오프라인 BO 탐색 공간 설계가 관련 작업 간 하이퍼파라미터 최적화를 가속화할 수 있는가?
• RQ2 상자(box)와 타원체(ellipsoid) 기하가 전통적인 메타 학습 접근 방식과 비교했을 때 Robust하고 확장 가능한 파라미터 없는 transfer learning 기준선을 BO에 제공하는가?
• RQ3 탐색 공간의 촉축이 서로 다른 BO 백엔드(Random, Hyperband, GP-based BO, SMAC, ABLR)에서 성능에 어떤 영향을 미치는가?
• RQ4 슬랙 변수 제형이 이상치를 효과적으로 배제하여 더 좁고 효과적인 탐색 공간을 생성하는가?
• RQ5 제안된 접근 방식이 다양한 ML 환경에서 BO를 워밍업 하기 위한 보편적 기준선으로 실용적인가?

주요 결과

• 학습된 탐색 공간(상자 또는 타원체)은 여러 HPO 벤치마크에서 BO의 속도를 상당히 높인다.
• 상자 및 타원체 접근법은 무작위 검색, SMAC, GP 기반 BO를 포함한 다양한 BO 방법과 결합될 때 수렴 속도를 개선한다.
• 슬랙 변수 확장은 이상치를 배제하고 더 좁은 공간을 생성하여 다양한 관련 작업이 존재하는 상황에서 로버스트성을 향상시킨다.
• 전이 학습이 가능한 상자 Random 및 상자 Ellipsoid 조합은 특히 데이터가 적은 상황에서 GP 워밍업 및 기타 전이 기준선과 경쟁하거나 그보다 우수할 수 있다.
• 이 방법은 매개변수 없는, 모델 자유의 전이 학습 기준선을 제공하여 BO의 워밍업에 대한 강력한 기본값으로 작용할 수 있다.