[논문 리뷰] Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax

Daniel T. Chang|arXiv (Cornell University)|2019. 12. 11.

Machine Learning and Data Classification참고 문헌 11인용 수 15

한 줄 요약

이 논문은 BoTorch, GPyTorch, Ax를 사용한 베이지안 하이퍼파rameter 최적화를 위한 간결한 프레임워크를 제안하며, 고차원 공간에서 딥러닝 하이퍼파rameter의 효율적이고 적응적인 튜닝을 가능하게 한다. 이러한 도구들의 통합은 확장 가능한 가우시안 프로세스 추론, 다양한 베이지안 최적화 및 취득 함수, 자동화된 최적화 루프를 가능하게 하여, 분자의 데이터에 대한 그래프 신경망의 그룹 가중치 최적화에서 효과적인 성능을 보여준다.

ABSTRACT

Deep learning models are full of hyperparameters, which are set manually before the learning process can start. To find the best configuration for these hyperparameters in such a high dimensional space, with time-consuming and expensive model training / validation, is not a trivial challenge. Bayesian optimization is a powerful tool for the joint optimization of hyperparameters, efficiently trading off exploration and exploitation of the hyperparameter space. In this paper, we discuss Bayesian hyperparameter optimization, including hyperparameter optimization, Bayesian optimization, and Gaussian processes. We also review BoTorch, GPyTorch and Ax, the new open-source frameworks that we use for Bayesian optimization, Gaussian process inference and adaptive experimentation, respectively. For experimentation, we apply Bayesian hyperparameter optimization, for optimizing group weights, to weighted group pooling, which couples unsupervised tiered graph autoencoders learning and supervised graph prediction learning for molecular graphs. We find that Ax, BoTorch and GPyTorch together provide a simple-to-use but powerful framework for Bayesian hyperparameter optimization, using Ax's high-level API that constructs and runs a full optimization loop and returns the best hyperparameter configuration.

연구 동기 및 목표

• 딥러닝에서 계산 비용이 많이 드는 학습을 고려할 때, 고차원 하이퍼파rameter 공간을 효율적으로 탐색하는 데 도전하는 것.
• BoTorch, GPyTorch, Ax를 통합하여 단일화되고 사용자 친화적인 프레임워크를 통해 베이지안 하이퍼파rameter 최적화를 수행하는 것.
• 원칙적인 탐색-이용 균형을 통한 적응적이고 데이터 효율적인 하이퍼파rameter 튜닝을 가능하게 하는 것.
• 무료 그룹 풀링을 포함한 실세계 분자의 그래프 학습 작업에 프레임워크의 효과성을 입증하는 것.

제안 방법

• 하이퍼파rameter-성능 관계를 모델링하기 위해 가우시안 프로세스를 사용한 베이지안 최적화를 활용한다.
• 다양분 수학적 모델링과 취득 함수 최적화를 위해 BoTorch를 활용한다.
• GPU 가속을 통해 확장 가능하고 효율적인 가우시안 프로세스 추론을 위해 GPyTorch를 활용한다.
• 시험 스케줄링 및 조기 정지 기능을 포함한 최적화 루프 자동화를 위해 Ax의 고수준 API를 사용한다.
• 그래프 오토에코더의 가중치 그룹 풀링 레이어에서의 그룹 가중치 최적화에 프레임워크를 적용한다.
• 통합 하이퍼파라미터 튜닝을 통한 비지도 계층적 그래프 오토에코딩과 지도 학습 기반 그래프 예측을 결합한다.

실험 결과

연구 질문

• RQ1 BoTorch, GPyTorch, Ax의 통합이 딥러닝에서 베이지안 하이퍼파라미터 최적화를 간소화할 수 있는가?
• RQ2 이 프레임워크는 계산 비용이 많이 드는 고차원, 평가가 어려운 검색 공간에서 하이퍼파라미터를 얼마나 효과적으로 최적화할 수 있는가?
• RQ3 분자의 성질 예측을 위한 그래프 신경망에서 그룹 가중치를 동시에 최적화함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ4 Ax의 자동 최적화 루프는 수동 또는 격자 기반 하이퍼파라미터 검색과 비교해 어떻게 다른가?
• RQ5 베이지안 최적화와 가우시안 프로세스는 하이퍼파라미터 튜닝에서 무작위 또는 탐욕적 탐색보다 얼마나 뛰어난가?

주요 결과

• BoTorch, GPyTorch, Ax의 조합은 강력하고 확장 가능하며 사용이 쉬운 베이지안 하이퍼파라미터 최적화 프레임워크를 제공한다.
• 이 프레임워크는 계산 비용을 줄이며 고차원 하이퍼파라미터 공간을 효율적으로 탐색할 수 있도록 한다.
• 가중치 그룹 풀링 레이어에서의 그룹 가중치 최적화가 분자의 그래프 예측 작업에서 모델 성능을 향상시켰다.
• Ax의 고수준 API는 시험 관리 및 수렴 탐지 기능을 포함한 전체 최적화 루프를 성공적으로 자동화했다.
• BoTorch를 통한 미분 가능한 베이지안 최적화를 활용해 기울기 기반 방법을 사용한 엔드 투 엔드 최적화가 가능했다.
• 이 접근법은 시료 효율성이 뛰어나 랜덤 또는 격자 기반 검색과 비교해 더 적은 시행 수로 경쟁 가능한 결과를 달성했다.