[논문 리뷰] Predictive Entropy Search for Efficient Global Optimization of Black-box Functions

José Miguel Hernández-Lobato, Matthew W. Hoffman외 1명|arXiv (Cornell University)|2014. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 396

한 줄 요약

이 논문은 예측 엔트로피 탐색(Predictive Entropy Search, PES)을 소개한다. PES는 블랙박스 함수의 전역 최대값에 대한 기대 정보 수익을 최대화하도록 평가 점을 선택하는 베이지안 최적화 방법이다. 예측 분포 엔트로피를 사용하여 비가역적인 엔트로피 기반의 획득 함수를 재구성함으로써, 특히 노이즈가 있거나 다중 최적값을 가진 설정에서 엔트로피 탐색(Entropy Search)과 기대 개선(Expected Improvement)보다 더 정확하고 효율적인 최적화를 달성한다.

ABSTRACT

We propose a novel information-theoretic approach for Bayesian optimization called Predictive Entropy Search (PES). At each iteration, PES selects the next evaluation point that maximizes the expected information gained with respect to the global maximum. PES codifies this intractable acquisition function in terms of the expected reduction in the differential entropy of the predictive distribution. This reformulation allows PES to obtain approximations that are both more accurate and efficient than other alternatives such as Entropy Search (ES). Furthermore, PES can easily perform a fully Bayesian treatment of the model hyperparameters while ES cannot. We evaluate PES in both synthetic and real-world applications, including optimization problems in machine learning, finance, biotechnology, and robotics. We show that the increased accuracy of PES leads to significant gains in optimization performance.

연구 동기 및 목표

• 도함수가 알려져 있지 않고 평가가 비용이 많이 드는 블랙박스 함수를 효율적으로 최적화하는 데 도전한다.
• 기대 개선(Expected Improvement, EI)과 같은 기존 획득 함수의 한계를 극복한다. 이러한 함수들은 과도하게 탐색을 우선시하여 탐색이 부족할 수 있다.
• 전역 최대값의 위치에 대한 정보 수익을 정량화하는 원칙적인 정보 이론적 접근법을 개발한다.
• 이전의 엔트로피 기반 방법들인 엔트로피 탐색이 효율적으로 처리하지 못했던 모델 하이퍼파rameter의 완전한 베이지안 처리를 가능하게 한다.
• 합성 문제와 실제 응용 문제 양쪽에서 최적화 성능을 향상시킨다. 이는 기계 학습 하이퍼파rameter 튜닝, 로봇 공학, 생물 기술 분야를 포함한다.

제안 방법

• 함수의 전역 최대값에 대한 예측 분포의 미분 엔트로피 감소 기대값을 근거로 하는 새로운 획득 함수를 제안한다.
• 후보 점에서 사후 예측 분포의 엔트로피를 근사함으로써 비가역적인 정보 이론적 목표를 재구성한다.
• 하이퍼파rameter와 함수 실현에 대한 몬테 카를로 샘플링을 사용하여 기대 정보 수익을 추정함으로써 획득 함수의 효율적 최적화를 가능하게 한다.
• 샘플링을 통한 하이퍼파rameter의 통합을 획득 함수에 통합함으로써, GP 하이퍼파rameter에 대한 완전한 베이지안 처리를 가능하게 한다.
• 잠재 함수를 모델링하기 위해 커널 함수를 사용하는 가우시안 프로세스 사전분포를 활용하며, 관측된 노이즈가 있는 평가 결과에 기반해 사후 분포를 갱신한다.
• 신뢰 영역 알고리즘을 사용하여 획득 함수를 순차적으로 최적화하고, 전역 최대화자에 대한 기대 정보 수익을 최대화하는 다음 평가 점을 선택한다.

실험 결과

연구 질문

• RQ1 전역 최대값에 대한 기대 정보 수익을 최대화하는 정보 이론적 획득 함수가 기대 개선과 같은 히우리스틱 방법보다 성능이 뛰어나게 되는가?
• RQ2 실용적인 베이지안 최적화를 위해 비가역적인 엔트로피 기반 획득 함수를 어떻게 효율적으로 근사할 수 있는가?
• RQ3 이전의 엔트로피 기반 접근 방식과 달리, 이 방법은 모델 하이퍼파rameter에 대한 완전한 베이지안 처리를 지원할 수 있는가?
• RQ4 향상된 정보 이론적 공식화가 복잡한, 다중 최적값이 있거나 노이즈가 많은 目표 함수에서 더 나은 최적화 성능을 낼 수 있는가?
• RQ5 다양한 합성 및 실제 문제에서 PES는 엔트로피 탐색(ES)과 기대 개선(EI)에 비해 수렴 속도와 최종 위험도에서 어떻게 비교되는가?

주요 결과

• 합성 벤치마크 함수에서 PES는 엔트로피 탐색(ES)과 기대 개선(EI)보다 유의미하게 낮은 즉각적 위험을 기록한다. 특히 고차원적이거나 다중 최적값이 있는 설정에서 두드러진다.
• Hartmann 함수에서 PES는 EI와 ES를 모두 능가하며, 복잡한 지형에서 더 적극적인 탐색이 유리함을 보여준다. 이는 더 많은 반복을 요구하지만 성능 향상에 기여한다.
• 신경망 하이퍼파rameter 튜닝(NNet), 수소 생산(Hydrogen), 포트폴리오 최적화(Portfolio)와 같은 실제 응용 분야에서 PES는 ES와 유사한 성능을 보이며, 너무나 과도하게 탐색을 우선시하는 EI보다 우수하다.
• 이중 다리 보행 로봇의 보행 속도 최적화(Walker A 및 B)에서 PES는 EI와 ES를 모두 능가한다. 특히 노이즈가 더 심한 Walker B 설정에서 하이퍼파rameter에 대한 완전한 베이지안 처리가 핵심적인 이점을 제공한다.
• 고정된 하이퍼파rameter를 사용하는 PES-NB 버전은 PES에 비해 성능이 열 劣하므로, 노이즈가 많은 환경에서 하이퍼파라미터를 통합하는 것이 성능 향상에 필수적임을 확인한다.
• 비가역적인 엔트로피 기반 획득 함수를 정확하게 근사할 수 있는 능력은 특히 고차원 및 비凸 문제에서 더 강력하고 효율적인 최적화를 가능하게 한다.