[논문 리뷰] The Parallel Knowledge Gradient Method for Batch Bayesian Optimization

Jian Wu, Peter I. Frazier|arXiv (Cornell University)|2016. 01. 01.

Machine Learning and Algorithms인용 수 86

한 줄 요약

이 논문은 병렬 평가를 위한 한 번의 단계에서 베이즈 최적의 배치 포인트를 선택하는 배치 베이지안 최적화 알고리즘인 병렬 지식 경사도(Parallel Knowledge Gradient, PKG) 방법을 제안한다. 효율적으로 이 최적의 배치를 계산함으로써 PKG는 노이즈가 있는 평가 조건에서도 전역 최적해에로의 수렴 속도를 가속화하며, 시뮬레이션 함수와 기계학습 하이퍼파rameter 튜닝에서 이전의 배치 베이지안 최적화 방법들을 능가한다.

ABSTRACT

In many applications of black-box optimization, one can evaluate multiple points simultaneously, e.g. when evaluating the performances of several different neural network architectures in a parallel computing environment. In this paper, we develop a novel batch Bayesian optimization algorithm --- the parallel knowledge gradient method. By construction, this method provides the one-step Bayes optimal batch of points to sample. We provide an efficient strategy for computing this Bayes-optimal batch of points, and we demonstrate that the parallel knowledge gradient method finds global optima significantly faster than previous batch Bayesian optimization algorithms on both synthetic test functions and when tuning hyperparameters of practical machine learning algorithms, especially when function evaluations are noisy.

연구 동기 및 목표

• 블랙박스 최적화에서 병렬 평가를 위한 포인트의 배치를 효율적으로 선택하는 데 도전하는 것, 특히 함수 평가가 노이즈가 있는 환경에서의 도전에 초점한다.
• 목적 함수의 기대 향상도를 최대화하는 한 번의 단계에서 베이즈 최적의 배치 포인트를 식별하는 방법을 개발하는 것.
• 하이퍼파rameter 튜닝 및 병렬 함수 평가가 필요한 다른 응용 분야에서 전역 최적해에로의 수렴 속도를 빠르게 하는 것.
• 이전의 배치 베이지안 최적화 접근 방식들에 비해 높은 계산 비용을 초래하는 문제를 해결하기 위한 효율적인 계산 전략을 제공하는 것.

제안 방법

• 이 방법은 후행 평균의 목적 함수 향상도를 후보 배치에 대해 최대화함으로써 배치 선택 문제를 지식 경사도 최적화 문제로 공식화한다.
• 배치 설정에서 지식 경사도의 닫힌 형태 근사를 유도하여, 완전한 열거 없이도 최적의 배치를 효율적으로 계산할 수 있도록 한다.
• 알고리즘은 지식 경사도에 기반한 탐욕적 선택 전략을 사용하여 반복적으로 배치를 구성함으로써 큰 배치에 대해서도 계산 가능성을 확보한다.
• 가우스 프로세스 대체 모델에서의 불확실성 추정치를 통합하여 배치 선택 과정에서 탐색과 이용의 균형을 이룬다.
• 이 방법은 확장성과 효율성을 고려하여 실시간 병렬 컴퓨팅 환경에서의 배치 선택을 가능하게 한다.
• 이 접근 방식은 베이지안 의사결정 이론에 기반하여 선택된 배치가 한 번의 단계에서 베이즈 최적임을 보장한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 병렬 함수 평가를 위한 한 번의 단계에서 베이즈 최적의 배치 포인트를 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ2 지식 경사도 기반 접근 방식이 기존의 배치 베이지안 최적화 방법들보다 수렴 속도와 전역 최적성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 노이즈가 있는 함수 평가 조건에서 제안된 방법은 이전의 배치 베이지안 최적화 알고리즘들보다 어떻게 성능을 발휘하는가?
• RQ4 이 방법의 확장성은 검색 공간의 차원 수와 배치 크기에 따라 어떻게 나타나는가?

주요 결과

• 병렬 지식 경사도 방법은 시뮬레이션 테스트 함수에서 이전의 배치 베이지안 최적화 알고리즘들보다 전역 최적해에로의 수렴 속도가著적으로 빠르게 한다.
• 실제 기계학습 모델의 하이퍼파rameter 튜닝 과제에서 PKG는 최적 성능에 도달하기 위해 필요한 함수 평가 횟수를 줄인다.
• 노이즈가 있는 평가 환경에서도 뛰어난 성능을 보이며, 다른 방법들이 성능이 저하되는 상황에서도 강건성과 효율성을 유지한다.
• 배치 선택을 위한 계산 전략은 더 큰 배치로의 효율적 확장 가능성을 제공하여 고성능 컴퓨팅 환경에 적합하다.
• 실험 결과에 따르면, 특히 높은 노이즈 환경에서 기준 방법들보다 더 적은 평가 횟수로 더 나은 해를 지속적으로 찾는다.