[논문 리뷰] Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly

Kirthevasan Kandasamy, Karun Raju Vysyaraju외 6명|arXiv (Cornell University)|2019. 03. 15.

Advanced Multi-Objective Optimization Algorithms인용 수 79

한 줄 요약

Dragonfly는 고차원 확장, 다중 적합도, 신경망 구조 탐색, 병렬 평가, 강건한 획득을 통합하여 확장 가능하고 견고한 베이지안 최적화를 발전시키는 오픈 소스 라이브러리이다.

ABSTRACT

Bayesian Optimisation (BO) refers to a suite of techniques for global optimisation of expensive black box functions, which use introspective Bayesian models of the function to efficiently search for the optimum. While BO has been applied successfully in many applications, modern optimisation tasks usher in new challenges where conventional methods fail spectacularly. In this work, we present Dragonfly, an open source Python library for scalable and robust BO. Dragonfly incorporates multiple recently developed methods that allow BO to be applied in challenging real world settings; these include better methods for handling higher dimensional domains, methods for handling multi-fidelity evaluations when cheap approximations of an expensive function are available, methods for optimising over structured combinatorial spaces, such as the space of neural network architectures, and methods for handling parallel evaluations. Additionally, we develop new methodological improvements in BO for selecting the Bayesian model, selecting the acquisition function, and optimising over complex domains with different variable types and additional constraints. We compare Dragonfly to a suite of other packages and algorithms for global optimisation and demonstrate that when the above methods are integrated, they enable significant improvements in the performance of BO. The Dragonfly library is available at dragonfly.github.io.

연구 동기 및 목표

• 하이퍼파라미터 튜닝과 모델 선택을 위한 값비싼 블랙박스 함수의 효율적인 전역 최적화 문제에 대응한다.
• 다차원 공간에서 작동하고 다중 적합도 평가 및 구조화된/조합적 도메인에 걸쳐 작동하는 확장 가능한 BO 방법을 개발한다.
• 초기화의 민감도와 획득 선택에 대한 민감도를 줄이기 위해 무작위화된 획득 및 모델 매개변수 선택을 도입하여 BO의 견고성을 향상시킨다.

제안 방법

• 확장성 및 견고성에 초점을 맞춘 오픈 소스 BO 라이브러리로 Dragonfly를 도입한다.
• 가법(Add-GP-UCB) 모델을 활용하여 BO를 고차원으로 확장하고 큰 특성 공간에서 계산 가능한 최적화를 가능하게 한다.
• 다중 적합도 BO(BOCA)를 형식화하고 적합도 및 입력 도메인 위의 곱 커널을 사용하여 활용한다; 적합도 인식 탐색을 결합한 획득 함수를 최적화하여 다음 지점을 선택한다.
• OTMANN 거리를 사용하여 NASBOT으로 신경망 아키텍처 탐색에 BO를 확장하고 아키텍처에 대한 커널을 정의하며 획득 함수와 아키텍처를 최적화하는 진화 알고리즘을 사용한다.
• 획득에 대한 환상(hallucination) 기법을 통해 병렬 평가를 처리한다( Thompson 샘플링은 여전히 확률적이다).
• 다양한 획득 함수와 GP 하이퍼파라미터 중 무작위로 선택하는 강건한 BO 프레임워크를 제안하여 문제 전반에 걸친 강건성을 높인다.

실험 결과

연구 질문

• RQ1 계산 비용이 지나치게 커지지 않으면서 고차원 도메인으로 베이지안 최적화를 확장하려면 어떻게 해야 하는가?
• RQ2 다중 적합도 평가를 이론적 보장과 함께 BO에 형식적으로 통합하여 값비싼 평가를 감소시킬 수 있는가?
• RQ3 의미 있는 아키텍처 표현과 효율적인 최적화를 갖춘 신경망 아키텍처 검색에 BO를 어떻게 적응시킬 수 있는가?
• RQ4 특히 병렬/비동기 설정에서 획득 선택 및 하이퍼파라미터 설정에 대한 BO의 견고성을 높이는 전략은 무엇인가?

주요 결과

• Dragonfly가 합성 벤치마크 및 천체물리학과 모델 선택의 실제 작업에서 경쟁력 있거나 더 나은 성능을 보여준다.
• 가법 GP 모델(Add-GP-UCB)은 함수 f를 가법 구성요소로 분해함으로써 차원의 저주를 크게 완화한다.
• 다중 적합도(BOCA)를 사용하는 BO는 곱 커널과 두 단계의 적합도 선택을 활용하여 정보 이득과 비용의 균형을 맞춘다.
• NASBOT은 OTMANN 기반 커널과 다중 적합도 훈련을 포함한 진화적 탐색 전략으로 신경망 아키텍처 검색을 가능하게 한다.
• 병렬 평가는 획득에 대한 환상(hallucination)을 통해 효과적으로 처리되며(TS 제외), 비동기식 또는 배치 BO를 가능하게 한다.
• 무작위적이고 적응적인 획득 전략은 단일 고정 획득에 의존하는 것보다 견고성을 향상시킨다.