[논문 리뷰] Practical Bayesian Optimization of Machine Learning Algorithms

Jasper Snoek, Hugo Larochelle외 1명|arXiv (Cornell University)|2012. 06. 13.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 5,635

한 줄 요약

GP 사전 정보를 가진 하이퍼파라미터에 대한 완전 베이지안 베이지안 최적화를 도입하고, 비용 인식 및 병렬 획득을 적용하여 다양한 ML 문제에서 전문가 수준 이상 혹은 그 이상으로 튜닝을 달성한다.

ABSTRACT

Machine learning algorithms frequently require careful tuning of model hyperparameters, regularization terms, and optimization parameters. Unfortunately, this tuning is often a "black art" that requires expert experience, unwritten rules of thumb, or sometimes brute-force search. Much more appealing is the idea of developing automatic approaches which can optimize the performance of a given learning algorithm to the task at hand. In this work, we consider the automatic tuning problem within the framework of Bayesian optimization, in which a learning algorithm's generalization performance is modeled as a sample from a Gaussian process (GP). The tractable posterior distribution induced by the GP leads to efficient use of the information gathered by previous experiments, enabling optimal choices about what parameters to try next. Here we show how the effects of the Gaussian process prior and the associated inference procedure can have a large impact on the success or failure of Bayesian optimization. We show that thoughtful choices can lead to results that exceed expert-level performance in tuning machine learning algorithms. We also describe new algorithms that take into account the variable cost (duration) of learning experiments and that can leverage the presence of multiple cores for parallel experimentation. We show that these proposed algorithms improve on previous automatic procedures and can reach or surpass human expert-level optimization on a diverse set of contemporary algorithms including latent Dirichlet allocation, structured SVMs and convolutional neural networks.

연구 동기 및 목표

• ML 알고리즘의 하이퍼파라미터, 정규화 항, 최적화 설정의 튜닝 자동화.
• 가우시안 프로세스 사전으로 일반화 성능을 모델링하여 효율적인 실험을 안내.
• 다양한 시도 시간의 차이와 병렬 평가와 같은 실용적 제약을 최적화 루프에 반영.

제안 방법

• 알려지지 않은 하이퍼파라미터 목적 함수 f(x)를 모델링하기 위해 가우시안 프로세스 사전을 사용.
• 예상 개선(EI) 같은 수집 함수를 채택하고 GP-UCB와 비교.
• Monte Carlo(MCMC)로 이를 주변화하여 GP 하이퍼파라미터를 완전 베이지안으로 처리(EI with MCMC).
• 소요 시간 c(x)를 GP로 간주하고 초당 EI를 최적화하여 비용 모델링을 통합.
• 대기 평가의 가능한 결과를 몬테카를로 평균화하여 병렬 실험 활성화.

실험 결과

연구 질문

• RQ1 완전 베이지안 GP 사전이 Bayesian optimization 성능에 어떤 영향을 미치는가?
• RQ2 비용 인식(EI per second)과 병렬화가 실제로 하이퍼파라미터 튜닝 효율성을 향상시키는가?
• RQ3 다른 공분산 함수 선택이 최적화 성공에 어떤 영향을 미치는가? (예: Matérn 5/2 vs squared exponential)
• RQ4 대기 중인 평가를 포함한 통합 획득이 다음 점 선택에 어떤 영향을 주는가?
• RQ5 이 방법들이 실제 ML 문제에서 인간 전문가를 능가하는가?

주요 결과

• GP 하이퍼파라미터를 통합(GP EI MCMC)한 것이 벤치마크에서 점 추정 하이퍼파라미터 전략보다 우수하다.
• 초당 EI가 평가 속도가 빠른 구성들을 선호하여 벽시계 시간 효율을 가속한다.
• 병렬화된 GP EI MCMC(N x GP EI MCMC)는 대규모 문제에서 그리드 검색보다 더 빠르게 더 나은 파라미터를 찾을 수 있다.
• 다른 공분산 선택은 최적화 성공에 실질적으로 영향을 준다; Matérn 5/2가 종종 squared exponential보다 더 현실적인 함수 샘플을 생성한다.
• CIFAR-10에서 GP EI MCMC 방식은 전문가 설정에 비해 14.98%의 검증 오류를 달성했다.
• 다양한 작업(LDA, 구조화 SVM, CNN 등)에서 제안된 베이지안 최적화 방법은 종종 인간 전문가의 성능과 이전의 자동 방법을 능가한다.