[논문 리뷰] Predictive Entropy Search for Bayesian Optimization with Unknown Constraints

José Miguel Hernández-Lobato, Michael A. Gelbart외 3명|arXiv (Cornell University)|2015. 02. 18.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 107

한 줄 요약

이 논문은 예측 엔트로피 탐색의 제약 조건을 고려한 확장인 예측 엔트로피 탐색-제약(PESC)을 소개한다. PESC는 제약 조건이 알려지지 않은 상황에서 제약 조건이 있는 최소화점을 향한 정보량 증가의 기대값을 최대화함으로써 제약 조건을 다루는 정보 이론적 베이지안 최적화 방법이다. PESC는 EIC 및 AL과 같은 기대 개선 기반 방법보다 합성 문제, 벤치마크 문제, 실제 문제에서 모두 뛰어난 성능을 보이며, 특히 기대 개선 기반 방법이 현재 최良 해가 없어 실패하는 분리된 제약 조건 상황에서 뛰어난 성능을 발휘한다.

ABSTRACT

Unknown constraints arise in many types of expensive black-box optimization problems. Several methods have been proposed recently for performing Bayesian optimization with constraints, based on the expected improvement (EI) heuristic. However, EI can lead to pathologies when used with constraints. For example, in the case of decoupled constraints---i.e., when one can independently evaluate the objective or the constraints---EI can encounter a pathology that prevents exploration. Additionally, computing EI requires a current best solution, which may not exist if none of the data collected so far satisfy the constraints. By contrast, information-based approaches do not suffer from these failure modes. In this paper, we present a new information-based method called Predictive Entropy Search with Constraints (PESC). We analyze the performance of PESC and show that it compares favorably to EI-based approaches on synthetic and benchmark problems, as well as several real-world examples. We demonstrate that PESC is an effective algorithm that provides a promising direction towards a unified solution for constrained Bayesian optimization.

연구 동기 및 목표

• 기대 개선(EI) 방법이 타당한 해가 없거나 제약 조건이 분리된 경우에 나타나는 제약 조건이 있는 베이지안 최적화의 한계를 해결하기 위해.
• EI 기반 방법에 내재된 문제점을 피하고 통합적인 정보 이론적 접근법을 개발하기 위해.
• 최소한의 함수 평가 수로 알려지지 않은, 가능하면 분리된 제약 조건이 있는 상황에서도 효과적인 최적화를 가능하게 하기 위해.
• 실제 비용이 많이 드는 블랙박스 최적화 문제에 적용 가능한 견고하고 확장 가능한 방법을 제공하기 위해.

제안 방법

• PESC는 목표 함수와 제약 조건에 대한 공동 가우시안 프로세스 모델을 사용하여, 제약 조건이 있는 전역 최소화점의 위치에 대한 기대 정보 수확량을 근사함으로써 예측 엔트로피 탐색(PES)을 제약 최적화로 확장한다.
• 획득 함수는 제약 조건이 있는 최소화점에 대한 사후 분포의 엔트로피에서 유도되며, 목표 함수와 제약 조건에 대한 공동 가우시안 프로세스 모델을 사용한다.
• 정보 수확량 계산에 포함된 적분이 해석이 불가능하므로 기대 전파(EP) 근사를 사용한다.
• 후행 예측 분포를 근사하고 후보 점을 통합하기 위해 몬테 카를로 샘플링과 슬라이스 샘플링을 사용한다.
• PESC는 현재 최선의 해가 필요로 하지 않아, 타당한 평가가 없는 상황에서도 견고하다.
• 구현에는 수치적 안정화 기법이 포함되어 있으며, Spearmint 베이지안 최적화 패키지에 오픈소스로 배포되어 있다.

실험 결과

연구 질문

• RQ1 정보 이론적 획득 함수는 제약 조건이 있는 베이지안 최적화에서 기대 개선보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 알려지지 않은 제약 조건이 있는 문제에서 PESC는 EIC 및 증강 라그랑주 방법과 비교해 어떻게 성능을 내는가?
• RQ3 초기 데이터에 타당한 해가 없고 제약 조건이 분리된 경우에도 PESC는 여전히 효과적인가?
• RQ4 소음이 있거나 고차원적인 블랙박스 함수에 제약 조건이 있는 경우 PESC는 어떻게 대처하는가?
• RQ5 PESC는 비용이 많이 드는 함수 평가가 필요한 실제 최적화 문제에 신뢰성 있게 적용될 수 있는가?

주요 결과

• PESC는 합성 벤치마크 문제에서 EIC를 크게 앞서며, 실제 평가에서 분류 오차율이 7.0±0.6%로 나타나 EIC의 49±4%보다 훨씬 낮게 나타났다.
• HMC 하이퍼파라미터 튜닝 과제에서 PESC는 평균 효율 샘플 크기 3300±1200을 달성했고, EIC는 2300±900을 기록하여 MCMC 혼합 성능이 더 우수하다는 것을 시사했다.
• PESC는 EIC가 현재 최선의 해가 없어 실패하는 분리된 제약 조건 상황에서도 견고한 성능을 보였다.
• PESC는 거부 샘플링 기반의 실제 방법과 유사한 정확도를 보이며, 정보 수확량 추정의 정확성을 검증했다.
• PESC는 하이퍼파라미터 튜닝 및 MCMC 설정과 같은 실제 문제를 성공적으로 처리하여 실용적 유용성을 입증했다.
• EP 근사에서 발생하는 수치적 불안정성에도 불구하고, 저자들은 안정화된 버전을 개발하고 Spearmint에 오픈소스로 배포했다.