[논문 리뷰] Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions

Amar Shah, Zoubin Ghahramani|arXiv (Cornell University)|2015. 11. 23.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 66

한 줄 요약

이 논문은 비용이 많이 들고 검은 상자 함수에 대해 전역 최대값을 찾는 데 정보 수득을 극대화하는 데 목적이 있는, 병렬적으로 평가할 수 있는 점들의 배치를 선택하기 위한 비그리디 비이항 최적화 알고리즘인 병렬 예측 엔트로피 검색(PPES)을 소개한다. PPES는 인공지능, 항공우주, 로봇 공학 분야의 실제 문제와 시뮬레이션 문제에서 그릴드 배치 방법보다 뛰어난 성능을 보이며, 정보 이론적이고 비그리디적인 배치 선택 전략 덕분에 더 나은 탐색과 더 빠른 수렴을 보여준다.

ABSTRACT

We develop parallel predictive entropy search (PPES), a novel algorithm for Bayesian optimization of expensive black-box objective functions. At each iteration, PPES aims to select a batch of points which will maximize the information gain about the global maximizer of the objective. Well known strategies exist for suggesting a single evaluation point based on previous observations, while far fewer are known for selecting batches of points to evaluate in parallel. The few batch selection schemes that have been studied all resort to greedy methods to compute an optimal batch. To the best of our knowledge, PPES is the first non-greedy batch Bayesian optimization strategy. We demonstrate the benefit of this approach in optimization performance on both synthetic and real world applications, including problems in machine learning, rocket science and robotics.

연구 동기 및 목표

• 병렬으로 다수의 평가를 수행할 수 있는 조건에서 고비용의 검은 상자 목적 함수를 효율적으로 최적화하는 데 도전한다.
• 일반적으로 입력 공간을 충분히 탐색하지 못하고 전역적인 구조를 포착하지 못하는 그릴드 배치 선택 전략의 한계를 극복한다.
• 전역 최대값의 위치에 대한 불확실성의 기대 감소를 극대화하기 위해 비그리디이고 정보 이론 기반의 접근 방식을 개발한다.
• 함수 평가가 비용이 많이 들고 노이즈가 많은 실제 문제들, 즉 로봇 공학, 로켓 과학, 머신러닝 하이퍼파rameter 튜닝에 대해 이 방법을 평가한다.

제안 방법

• PPES는 즉각적인 향상도를 극대화하는 대신, 전역 최대값의 위치에 대한 엔트로피 감소 기대치를 극대화하여 Q개의 점을 배치로 선택한다.
• 예측 엔트로피 검색을 배치 설정으로 확장하기 위해 최대값 위치와 후보 점들에서의 함수 값에 대한 연합 불확실성을 모델링한다.
• 정보 수득의 기대치를 계산하기 위해 기대치가 계산이 어려운 연합 분포에 대해 몬테카를로 샘플링을 사용한다.
• 획득 함수는 특정 점들의 배치를 관측한 후 최대값 위치에 대한 사후 분포의 엔트로피 감소 기대치로 정의된다.
• 이 알고리즘은 Q개 점으로 구성된 입력 공간에서 고차원 최적화 문제를 해결하기 위해 기울기 기반 방법을 사용하며, 다수의 무작위 초기값에서 시작한다.
• 그릴드 방법과 달리 PPES는 점들을 순차적으로 선택하지 않고, 전체 배치를 동시에 최적화하여 전역 정보 수득을 극대화한다.

실험 결과

연구 질문

• RQ1 비그리디 배치 비이항 최적화 전략은 수렴 속도와 전역 탐색 측면에서 그릴드 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 전역 최대값 위치에 대한 정보 수득을 극대화하는 것이 기대 개선도를 극대화하는 것보다 더 나은 최적화 성능을 이끌어낼 수 있는가?
• RQ3 다중 모odal, 비연속적, 노이즈가 많은 목적 함수에서 그릴드 방법이 종종 실패하는 상황에서 PPES는 어떻게 성능을 발휘하는가?
• RQ4 비그리디이고 정보 이론 기반의 획득 함수를 사용할 때 배치 크기가 최적화 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 벤치마크 목적 함수에서 중앙값 즉각적 손실 측면에서 PPES는 SM-UCB, GP-BUCB, EI-MCMC와 같은 그릴드 배치 방법보다 일관되게 뛰어난 성능을 보였다.
• 수소 함수에서는 초기 배치 이후 손실이 급격히 감소하는 경향을 보이며, 비그리디 선택 덕분에 장기적인 탐색 능력이 뛰어나다는 것을 시사한다.
• 불가능한 설정에서 기여도가 0인 강한 비연속성을 지닌 로켓 함수의 경우, 경쟁 방법들보다 더 적은 수의 0 함수 값 평가를 기록했다.
• 개별 평가의 함수 값이 낮더라도, 정보 수득에 집중함으로써 전역 최대값(즉, x*)에 대한 추정치를 더 잘 제공했다.
• 복잡하고 다중 모달적인 함수에서 PPES의 성능 향상은 가장 두드러졌으며, 이는 그릴드 방법이 조기 수렴과 열악한 탐색으로 어려움을 겪는 경우에 해당된다.
• 로봇 함수의 경우, Q=2에서 Q=4로 배치 크기를 늘일 때 성능 향상의 상대적 비율은 낮았는데, 이는 고차원 배치 공간에서 획득 함수 최적화가 최적의 상태가 아니었기 때문일 것이다.