[논문 리뷰] Max-value Entropy Search for Efficient Bayesian Optimization

Zi Wang, Stefanie Jegelka|arXiv (Cornell University)|2017. 03. 06.

Gaussian Processes and Bayesian Inference인용 수 181

한 줄 요약

MES는 최대값 y*와의 상호 정보에 기반한 계산적으로 더 가벼운 취득을 도입하여 ES/PES보다 더 낮은 비용으로 경쟁력 있거나 더 나은 성능을 달성하며, 특히 고차원에서 더 두드러진다.

ABSTRACT

Entropy Search (ES) and Predictive Entropy Search (PES) are popular and empirically successful Bayesian Optimization techniques. Both rely on a compelling information-theoretic motivation, and maximize the information gained about the $\arg\max$ of the unknown function; yet, both are plagued by the expensive computation for estimating entropies. We propose a new criterion, Max-value Entropy Search (MES), that instead uses the information about the maximum function value. We show relations of MES to other Bayesian optimization methods, and establish a regret bound. We observe that MES maintains or improves the good empirical performance of ES/PES, while tremendously lightening the computational burden. In particular, MES is much more robust to the number of samples used for computing the entropy, and hence more efficient for higher dimensional problems.

연구 동기 및 목표

• argmax x*가 아닌 최대값 y*에 대한 정보에 집중함으로써 ES/PES에 대한 확장 가능한 대안을 제시한다.
• MES를 처리 가능한 엔트로피 근사를 갖춘 효율적인 취득 함수로 개발한다.
• Add-GP를 통해 MES를 고차원으로 확장한다.
• GP-UCB, PI, EST와의 이론적 연결을 확립하고 MES 변형에 대한 후회 분석을 제공한다.
• 합성 및 실제 최적화 과제에서 경험적 효율성과 강건성을 입증한다.

제안 방법

• argmax에 대한 ES/PES의 초점을 최대값 y*에 대한 정보로 교체한다 (취득 함수 alpha_t(x) = I((x,y); y* | D_t)).
• p(y|D_t,x) 및 p(y|D_t,x,y*)를 이용하여 상호정보의 실용적이고 처리 가능한 표현식을 도출하고, 근사적인 닫힌 형태(Eq. 6)를 얻는다.
• y*의 분포를 (i) 감벨 샘플링(Gumbel 샘플링) 또는 (ii) GP로부터의 포스터리어 함수를 샘플링하고 이를 최대화하는 방법(무작위 특징)을 통해 근사한다.
• MES와 EST, GP-UCB, PI 사이의 연결을 확립하고 하나의 y* 샘플로 동등함을 보인다(레마 3.1).
• 추가적인 additive GP(Add-GP)를 사용하여 고차원 입력에 MES를 확장하고, 각 가법 구성요소별로 개별 취득 함수와 이후 연결을 수행한다.
• GP 하이퍼파라미터를 주변화하거나 샘플링하여(슬라이스 샘플링) 실용적인 하이퍼파라미터 적응을 제공한다.

실험 결과

연구 질문

• RQ1 MES가 계산 부담을 줄이면서 ES/PES에 비해 BO 성능을 유지하거나 향상시키는가?
• RQ2 MES는 GP-UCB, PI, EST와 같은 확립된 BO 기준과 어떻게 관련되고 연결되는가?
• RQ3 MES를 additive Gaussian processes를 통해 고차원 문제로 확장하되 성능을 희생하지 않는가?
• RQ4 y*에 대해 Gumbel 샘플링과 포스터리어 함수 샘플링을 사용하는 경우의 실험적 성능 영향은 무엇인가?
• RQ5 MES 변형에 대해 어떤 후회 보장을 확립할 수 있는가?

주요 결과

방법	추론 후회 (Eggholder)	추론 후회 (Shekel)	추론 후회 (Michalewicz)
UCB	141.00±70.96	9.40±0.26	6.07±0.53
PI	52.04±39.03	6.64±2.00	4.97±0.39
EI	71.18±59.18	6.63±0.87	4.80±0.60
EST	55.84±24.85	5.57±2.56	5.33±0.46
ES	48.85±29.11	6.43±2.73	5.11±0.73
PES	37.94±26.05	8.73±0.67	5.17±0.74
MES-R	54.47±37.71	6.17±1.80	4.97±0.59
MES-G	46.56±27.05	5.45±2.07	4.49±0.51

• MES는 합성 및 실제 과제 전반에서 ES/PES에 비해 간단한 후회 및 추론 후회에서 경쟁력 있거나 더 나은 성능을 달성한다.
• MES는 y* 또는 x* 샘플 수가 증가할수록 PES/ES보다 반복당 계산 시간이 훨씬 더 낮다.
• MES-G(가우시안 기반 샘플링) 및 MES-R(무작위 특징 기반 샘플링)은 y* 샘플 수에 대한 견고성을 보이고 고차원에도 잘 확장된다.
• Add-MES는 MES를 가법 GP에 효과적으로 적용하여 고차원에서도 성능을 보존한다.
• 단순 후회 경계가 MES 변형에 대해 확립되어 단일 변수 y* 샘플링 체계에서 MES를 EST 및 GP-UCB와 연계한다.