[논문 리뷰] Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly

Kirthevasan Kandasamy, Karun Raju Vysyaraju외 6명|arXiv (Cornell University)|2019. 03. 15.

Advanced Multi-Objective Optimization Algorithms참고 문헌 82인용 수 45

한 줄 요약

Dragonfly는 확장 가능하고 강건한 하이퍼파라미터 튜닝, 다신성 최적화, 신경망 아키텍처 탐색, 및 병렬 평가를 위한 오픈 소스 베이지안 최적화 라이브러리입니다. 이는 다양한 문제에서 잘 작동하기 위해 여러 획득 함수와 강건한 모델링을 결합합니다.

ABSTRACT

Bayesian Optimisation (BO) refers to a suite of techniques for global optimisation of expensive black box functions, which use introspective Bayesian models of the function to efficiently search for the optimum. While BO has been applied successfully in many applications, modern optimisation tasks usher in new challenges where conventional methods fail spectacularly. In this work, we present Dragonfly, an open source Python library for scalable and robust BO. Dragonfly incorporates multiple recently developed methods that allow BO to be applied in challenging real world settings; these include better methods for handling higher dimensional domains, methods for handling multi-fidelity evaluations when cheap approximations of an expensive function are available, methods for optimising over structured combinatorial spaces, such as the space of neural network architectures, and methods for handling parallel evaluations. Additionally, we develop new methodological improvements in BO for selecting the Bayesian model, selecting the acquisition function, and optimising over complex domains with different variable types and additional constraints. We compare Dragonfly to a suite of other packages and algorithms for global optimisation and demonstrate that when the above methods are integrated, they enable significant improvements in the performance of BO. The Dragonfly library is available at dragonfly.github.io.

연구 동기 및 목표

• 비용이 많은 블랙박스 설정에서 효율적인 하이퍼파라미터 튜닝의 필요성을 제시한다.
• 고차원, 다충실도, 구조화된 탐색 공간에 적용 가능한 확장 가능한 BO 프레임워크를 개발한다.
• 무작위화된 획득 및 모델 선택을 통해 BO의 강건성을 향상시킨다.
• NAS 및 병렬 평가를 포함한 실용적 응용을 하나의 라이브러리에서 가능하게 한다.

제안 방법

• Dragonfly를 확장 가능하고 강건한 BO 라이브러리로 소개한다.
• Add-GP-UCB를 통해 고차원 도메인을 다루기 위해 additive GP 모델을 구현한다.
• 곱 커널과 입력과 충실도 두 가지를 선택하는 두 단계의 획득함수를 사용하여 다충실도 BO를 형식화한다.
• NASBOT를 Optimal Transport 기반의 거리(OTMANN)를 사용하여 신경망 아키텍처를 정의하고 획득을 탐색하는 진화적 검색으로 개발한다.
• Thompson 샘플링을 제외한 hallucination(환각)을 통해 병렬 평가를 도입한다.
• 문제 전반에 걸친 강건성을 향상시키기 위해 무작위화된 획득 전략을 채택한다.

실험 결과

연구 질문

• RQ1 Dragonfly가 고차원 및 다충실도 환경에서 확장 가능한 베이지안 최적화를 달성할 수 있는가?
• RQ2 단일 고정 설정 대신 무작위화된 획득 및 모델 선택을 사용할 때 강건성이 향상되는가?
• RQ3 additive GP 모델, NASBOT, 그리고 병렬 평가 전략이 합성 벤치마크와 실제 작업에서 얼마나 잘 수행되는가?
• RQ4 다충실도 및 NAS 적응을 하나의 BO 프레임워크 내에서 효과적으로 통합할 수 있는가?

주요 결과

• Dragonfly는 additive GP 구조를 활용하여 차원 축소와 획득 최적화 비용을 줄여 확장 가능한 BO를 가능하게 한다.
• The multi-fidelity BOBO you described (BOCA)는 충실도 간의 비용과 정보의 trade-off를 합리적으로 제공한다.
• NASBOT은 OTMANN 기반의 신경망 아키텍처 거리로 커널을 정의하고 NAS 공간을 탐색하기 위해 진화적 탐색을 활용한다.
• 무작위화된 획득은 단일 고정된 획득을 선택하는 것과 비교하여 다양한 문제에서 강건성과 성능을 향상시킨다.
• Dragonfly는 계산 천체물리학 및 모델 선택 분야의 합성 벤치마크와 실제 작업에서 경쟁력 있거나 우수한 성능을 보인다.